NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Техническое решение

Эта техническая книга предназначена для сетевых архитекторов, инженеров допроса и руководителей операций.MQM9790-NS2F- 400 Гбит/с NDR InfiniBand switch, в котором содержатся подробные рекомендации по проектированию архитектуры, ключевым технологиям, развертыванию и масштабированию, а также эксплуатации и мониторингу;специально для оптимизации межсоединений с низкой задержкой кластера RDMA/HPC/AI.

1. Анализ контекста и требований проекта

Современные обучения ИИ и нагрузки на высокопроизводительные вычислительные процессоры приводят к созданию кластеров с тысяч до десятков тысяч графических процессоров.Традиционные ткани Ethernet борются с задержкой задержки и расходами процессора, в то время как у устаревших развертываний InfiniBand может не хватать достаточной плотности портов и пропускной способности. Ключевые требования включают задержку коммутации до микросекунды, полное переадресацию скорости строки без потери пакетов,эффективная поддержка RDMA, и плавную масштабируемость до сотен коммутаторов.NVIDIA Mellanox MQM9790-NS2Fнапрямую отвечает этим потребностям с его возможностью NDR 400Gb / s и передовыми вычислительными возможностями в сети.

2. Общий дизайн сетевой и системной архитектуры

Рекомендуемая архитектура использует двухслойную топологию Fat-Tree (также известную как сложенный Clos), которая балансирует пропускную способность, стоимость и масштабируемость.Серверы GPU, оборудованные адаптерами NDR ConnectX-7 подключаются к переключателям листовВ спинном слое,MQM9790-NS2F InfiniBand переключательЭта конструкция обеспечивает полную полосу пропускания: любой переключатель листа может общаться с любым другим листом со скоростью провода.может использоваться трехслойная топология (лист-позвоночник-суперпозвоночник), поддерживающий до десятков тысяч узлов GPU.

• Переменчики листьев:64-портные модели OSFP, каждый из которых подключается к 32 серверам (двойной порт) плюс подключения к спинам.
• Спина: MQM9790-NS2F 400Gb/s NDR 64-портный OSFPПолностью неблокирующая конструкция требует спин-портов, равных количеству переключателей листа.
• Управление подсетью:Выделенный или избыточный менеджер подсети обрабатывает расчет пути, адаптивное маршрутизация и отказ.

3. Роль и ключевые особенности NVIDIA Mellanox MQM9790-NS2F в решении

Как основной позвоночник и опционально листовое устройство,MQM9790-NS2Fобеспечивает несколько критических возможностей:

• 400 Гбит/с производительность линейной скорости NDR:Каждый из 64 портов OSFP работает на полной дуплексной 400Gb / s, обеспечивая совокупную мощность коммутации 51.2Tb / s.
• Ультра низкая задержка и адаптивное маршрутизация:Сдвиг через переключение обеспечивает задержку от порта к порту менее 130 нс. Адаптивное маршрутизация динамически сбалансирует трафик по нескольким путям, избегая горячих точек.
• Вычисления в сети (SHARPv3):Поддерживает масштабируемую иерархическую агрегацию и редукцию, отгружает коллективные операции от CPU / GPU и уменьшает движение данных до 10 раз.
• Дизайн RDMA:Аппаратно-ускоренная RDMA обеспечивает прямой доступ к памяти GPU, исключая участие процессора и резко снижая накладные расходы на связь.
• Комплексная телеметрия и QoS:Тонкий контроль перегрузки, мониторинг буфера и классификация потока обеспечивают детерминированную производительность для смешанных нагрузок.

СогласноЛист данных MQM9790-NS2F, коммутатор также поддерживает горячезаменяемые источники питания и вентиляторы, избыточные порты управления и полный набор диагностики, что делает его подходящим для производственных условий 7 × 24.

4. Рекомендации по развертыванию и масштабированию (с типичной топологией)

Типичный кластер с 2,048-GPU может быть построен с использованием 64 переключателей листа и 32 переключателей позвоночника. Каждый лист подключается к 32 серверам GPU (двухпортовым) и обеспечивает 32 подключения к спинам.Совместимая с MQM9790-NS2FДля расширения до 8192 графических процессоров добавляется супер-позвоночный слой, соединяющий несколько модулей.

При изменении масштаба подумайте о следующем:

• Кабели и оптические устройства:Используйте OSFP-OSFP DAC для коротких внутрираковых ссылок, а OSFP-to-4xOSFP кабели или оптические модули для больших расстояний.Спецификации MQM9790-NS2Fпо охвату и энергобюджету.
• Размер подсети:Один менеджер подсети может обрабатывать до 2000 узлов; за пределами этого, разверните несколько подсетей или используйте распределенный дизайн менеджера подсети.
• Отставка:Серверы с двойным расположением и избыточные спинные коммутаторы исключают отдельные точки отказа.MQM9790-NS2F Раствор коммутатора InfiniBandПоддерживает безотказный отказ с правильной конфигурацией SM.

5. Операции, мониторинг, устранение неполадок и оптимизация

Эффективные операции требуют видимости и автоматизации.

• Мониторинг:Используйте Fabric Manager и телеметрические API NVIDIA для отслеживания ошибок портов, температуры, потребления энергии и использования ссылок.
• Устранение неполадок:ВMQM9790-NS2Fв случае снижения производительности проверьте адаптивную конфигурацию маршрутизации, убедитесь, что все соединения ткани симметричны,и проверить, что объединение SHARP включено для поддерживаемых коллективов.
• Оптимизация:Настройка адаптивных параметров маршрутизации на основе рабочей нагрузки (например, чувствительные к задержке или чувствительные к пропускной способности).Регулярно пересматриватьЦена MQM9790-NS2FВ отличие от компромиссов в плане производительности при планировании увеличения мощности, часто модернизация спин дает лучшую рентабельность инвестиций, чем добавление большего количества листьев.

Для организаций, оценивающихMQM9790-NS2F для продажи, убедитесь, что ваш набор программного обеспечения (например, NCCL, OpenMPI) поддерживает функции NDR, такие как SHARPv3 и аппаратное сокращение.

6. Резюме и оценка стоимости

ВMQM9790-NS2F Раствор коммутатора InfiniBandобеспечивает четкий путь к созданию тканей с низкой задержкой и высокой пропускной способностью для требовательных кластеров RDMA/HPC/AI.и возможности вычислений в сети напрямую решают проблемы масштабируемости и производительности современных рабочих нагрузок. Приняв архитектуру, изложенную выше, Fat-Tree топология, NDR-корневые коммутаторы и RDMA-нативная операция организации могут достичь линейного масштабирования GPU, сократить время завершения работы более чем на 30%,Для подробного планирования см. официальнуюЛист данных MQM9790-NS2FДля обсуждения индивидуального дизайна или полученияЦена MQM9790-NS2Fи доступности, пожалуйста, свяжитесь с уполномоченным партнером NVIDIA.