Технический справочник коммутатора NVIDIA Mellanox MQM8790-HS2F InfiniBand

Этот технический документ предназначен для сетевых архитекторов, инженеров по предпродажной подготовке и руководителей операций. В центре вниманияNVIDIA Мелланокс MQM8790-HS2FInfiniBand представляет собой подробное руководство по проектированию, развертыванию и эксплуатации высокопроизводительных фабрик, которые служат для крупномасштабного обучения искусственного интеллекта и моделирования высокопроизводительных вычислений — с упором на ускорение RDMA и детерминированную связь с малой задержкой.

Современные рабочие нагрузки искусственного интеллекта и высокопроизводительных вычислений приводят к тому, что кластеры графических процессоров насчитывают десятки тысяч узлов. Традиционные фабрики Ethernet, даже с RoCE, демонстрируют несоответствие производительности при использовании шаблонов incast и страдают от более высоких затрат на ЦП. Ключевые требования к межсетевым соединениям кластера следующего поколения включают в себя:

• Задержка в субмикросекундной передаче между точками для синхронизированных коллективных операций
• Транспортировка без потерь и перегрузок для предотвращения отставания в хвосте
• Полная разгрузка обработки данных с ядер CPU/GPU
• Масштабируемые топологии «жирное дерево» или «стрекоза+» с неблокируемой пропускной способностью.
• Экономически эффективный путь перехода от существующей оптики 100G/200G

Удовлетворяя эти требования,MQM8790-HS2F Коммутатор InfiniBandобеспечивает HDR 200 Гбит/с на порт, 40 портов QSFP56 на устройство, а также встроенную поддержку RDMA и внутрисетевых вычислений. Это решение специально создано для сред, где эффективность межсетевого соединения напрямую влияет на время выполнения задания и совокупную стоимость владения.

Рекомендуемая физическая топология для кластеров AI/HPC с использованиемNVIDIA Мелланокс MQM8790-HS2Fпредставляет собой двухъярусное или трехъярусное толстодерево (также известное как листовертка). Каждый листовой коммутатор подключается к серверам графического процессора через каналы HDR или HDR100, а коммутаторы позвоночника обеспечивают полносвязное соединение между листьями. Типичная конфигурация из 800 GPU включает:

• 20 лепестковых выключателей: каждыйMQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56обслуживание до 20 серверов (двухрельсовое соединение)
• 4 магистральных коммутатора: полностью соединены между собой с листьями с помощью восходящих каналов 200 Гбит/с.
• Коэффициент неблокирования 1:1 на каждом уровне

Для более крупных кластеров (более 2000 графических процессоров) к трехуровневой архитектуре добавляется уровень суперпозвоночника. Все управление фабрикой осуществляется диспетчером подсети (SM), который либо работает на выделенном контроллере, либо встроен в микропрограмму коммутатора для фабрик меньшего размера.

В рамках этой архитектурыMQM8790-HS2Fслужит как элементом листа, так и корешком. Его основные отличия включают в себя:

• HDR 200 Гбит/с на порт:Полная двунаправленная пропускная способность с совокупной неблокируемой коммутационной способностью 16 Тбит/с.
• Адаптивная маршрутизация (AR):Динамически распределяет трафик по нескольким путям, чтобы избежать «горячих точек», что критически важно для эффективности «толстого дерева»
• SHARPv2 (Протокол масштабируемого иерархического агрегирования и сокращения):Выгружает коллективные операции (All‑Reduce, уменьшить‑Scatter) непосредственно в сеть коммутатора, сокращая время простоя графического процессора.
• Контроль перегрузок:Точное управление потоком с помощью механизмов FECN/BECN обеспечивает отсутствие потерь в структуре
• Высокая плотность портов:40 портов QSFP56 на шасси высотой 1U, что упрощает компоновку стойки и снижает сложность прокладки кабелей между стойками.

Инженеры могут обратиться кТехническое описание MQM8790-HS2FиТехнические характеристики MQM8790-HS2Fдля получения подробных данных о мощности, температуре и задержке. Платформа такжеСовместимость с MQM8790-HS2Fс широким спектром оптики HDR, HDR100 и даже EDR, что позволяет осуществлять постепенную модернизацию.

Для сбалансированного кластера искусственного интеллекта на 1000 графических процессоров рекомендуется следующая последовательность развертывания:

• Шаг 1 – Слой листьев:Установить 25xMQM8790-HS2Fустройства в качестве лепестковых переключателей. Подключите каждый сервер графического процессора (по 8 графических процессоров на сервер) через два порта HDR к двум разным выходам для обеспечения резервирования и увеличения пропускной способности.
• Шаг 2 – Слой позвоночника:Развернуть 8xNVIDIA Мелланокс MQM8790-HS2Fкак переключается позвоночник. Подключите каждый лист к каждому позвоночнику, используя каналы 200 Гбит/с (40 восходящих каналов на лист, но обычно это подмножество, достаточное для поддержания коэффициента блокировки ≤1:1).
• Шаг 3 – Размещение диспетчера подсети:Запускайте резервные экземпляры SM на двух облегченных серверах или используйте встроенный SM для кластеров с количеством портов менее 2000.
• Шаг 4 – Разделение:Используйте разделы InfiniBand для изоляции потоков трафика производства, разработки и хранения данных в одной физической структуре.

Для расширения до 2500+ графических процессоров добавьте уровень супермагистрали с помощью дополнительных модулей MQM8790-HS2F и увеличьте плотность восходящего канала между конечными точками.MQM8790-HS2F Коммутатор InfiniBandмасштабируется линейно без изменения архитектуры ядра.

Ежедневная эксплуатация ткани, построенной наMQM8790-HS2FКоммутаторы управляются через NVIDIA Fabric Manager и MLNX‑OS. Ключевые практики включают в себя:

• Мониторинг:Используйте `ibdiagnet` для проверки топологии, `perfquery` для счетчиков портов и информационные панели Grafana с экспортерами Prometheus для телеметрии в реальном времени (использование канала, ошибки символов, маркеры перегрузки).
• Прошивка и программное обеспечение:Поддерживайте единообразную прошивку на всех коммутаторах. См. последние примечания к выпуску вТехническое описание MQM8790-HS2Fдля совместимости версий.
• Поиск неисправностей:Распространенные проблемы — нестабильность каналов, несовпадение MTU или неправильная конфигурация раздела — быстро изолируются с помощью ibstatus, smpquery и системного журнала переключения. Журналы адаптивной маршрутизации могут выявить источники перегрузки.
• Оптимизация:Настройте пороговые значения адаптивной маршрутизации и параметры контроля перегрузки на основе профилирования рабочей нагрузки. Для крупномасштабного обучения искусственному интеллекту включите SHARP в соответствующих библиотеках MPI (например, NCCL с плагином SHARP).

При планировании бюджета или расширении запроситеЦена MQM8790-HS2Fкотировки от авторизованных партнеров и проверьтеMQM8790-HS2F на продажудоступность. Совместимость платформы с существующими кабелями QSFP56 снижает риск закупок.

MQM8790-HS2F— это не просто коммутатор — это основополагающий строительный блок для детерминированных структур HPC и искусственного интеллекта с малой задержкой. Сочетание HDR 200 Гбит/с, плотности 40 портов, адаптивной маршрутизации и внутрисетевых вычислений SHARP напрямую решает ключевые проблемы современных кластерных межсоединений. По сравнению с альтернативными решениями 200G Ethernet экосистема InfiniBand предлагает:

• Снижение нагрузки на ЦП (настоящий RDMA с аппаратной транспортной разгрузкой)
• Детерминированная задержка в микросекундном масштабе под реальной нагрузкой
• Упрощенное управление фабрикой с помощью централизованного диспетчера подсети.
• Проверенная масштабируемость до десятков тысяч конечных точек

Для организаций, создающих или расширяющих кластеры графических процессоров, можно использоватьNVIDIA Мелланокс MQM8790-HS2Fозначает достижение более высоких эффективных FLOPS на доллар, сокращение времени выполнения заданий и обеспечение будущего межсоединения для обновлений HDR200 следующего поколения (400 Гбит/с). Подробные эталонные проекты, включая полныеТехнические характеристики MQM8790-HS2Fи матрицы кабелей доступны на партнерском портале NVIDIA.