Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch на практике

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch на практике | Оптимизация низколатентных межсоединений для RDMA/HPC/AI кластеров

Предпосылки и проблемы: когда RDMA-кластеры упираются в сетевое "бутылочное горлышко"

В типичной смешанной среде HPC и AI кластеры вычислений часто одновременно выполняют CFD-симуляции, молекулярную динамику и распределенное обучение больших моделей. Эти рабочие нагрузки в значительной степени полагаются на RDMA для межузловой связи и чрезвычайно чувствительны к пропускной способности, задержке и потерям пакетов. Когда кластер растет с десятков до сотен узлов, исходное межсоединение может быстро стать ограничивающим фактором.

Общие симптомы включают высокую остаточную задержку во время AllReduce, неравномерное использование каналов по всей сети и снижение времени завершения заданий, как только несколько арендаторов совместно используют сеть. Для сетевых инженеров и архитекторов задача состоит не просто в увеличении пропускной способности, а в построении сети, которая обеспечивает предсказуемую задержку при перегрузке.

Решение и развертывание: построение сети вокруг MQM8790-HS2F

Для решения этих проблем сетевая архитектура кластера была переработана вокруг Mellanox (NVIDIA Mellanox) MQM8790-HS2F, InfiniBand-коммутатора со скоростью 200 Гбит/с HDR, разработанного для сред с высокой плотностью и низкой задержкой. Форм-фактор MQM8790-HS2F 200 Гбит/с HDR с 40 портами QSFP56 позволяет разместить 40 портов в 1U, что естественно вписывается в двухуровневую топологию fat-tree.

Развертывание следовало многоуровневому подходу:

• Уровень Spine: Коммутаторы NVIDIA Mellanox MQM8790-HS2F были развернуты в качестве устройств Spine, обеспечивая восходящие каналы 200 Гбит/с и неблокирующий трафик восток-запад между группами Leaf.
• Уровень Leaf: Коммутаторы Leaf подключают вычислительные узлы, оснащенные адаптерами ConnectX-6 или ConnectX-7, формируя сквозной HDR-путь, совместимый с MQM8790-HS2F.
• Внутрисетевые вычисления: Технология SHARP на MQM8790-HS2F выгружает коллективные операции, такие как AllReduce, на коммутатор, снижая нагрузку на GPU и CPU.
• Управление и телеметрия: MLNX-OS, UFM и NetQ использовались для подготовки сети, мониторинга и обеспечения видимости перегрузок.

Во время планирования команда изучила техническое описание MQM8790-HS2F и спецификации MQM8790-HS2F для проверки бюджета мощности, требований к охлаждению и вариантов разделения портов, таких как breakout 2×100 Гбит/с. Кабельная система и оптика были стандартизированы под QSFP56 для упрощения запасов и будущего расширения.

Результаты и преимущества: что изменилось после развертывания

После перехода на решение InfiniBand-коммутатора MQM8790-HS2F кластер продемонстрировал измеримые улучшения в эффективности связи и стабильности заданий. Наиболее заметные достижения были следующими:

С операционной точки зрения команда получила лучший контроль над поведением сети. Адаптивная маршрутизация и SHARP снизили влияние "горячих точек", а телеметрия облегчила выявление медленных узлов и неправильно сконфигурированных каналов. Для архитекторов, оценивающих цену MQM8790-HS2F или варианты MQM8790-HS2F для продажи, ключевым выводом является то, что коммутатор окупается за счет более высокой утилизации кластера, а не только за счет количества портов.

Заключение и перспективы

MQM8790-HS2F демонстрирует, как специализированный InfiniBand-коммутатор может устранить узкие места в межсоединениях в RDMA, HPC и AI кластерах. Объединяя порты 200 Гбит/с HDR, внутрисетевые вычисления SHARP и зрелый стек управления, NVIDIA Mellanox MQM8790-HS2F обеспечивает предсказуемую низкую задержку в масштабе. Поскольку кластеры продолжают расти, а рабочие нагрузки AI становятся более интенсивными в плане коммуникаций, сети, построенные на InfiniBand-коммутаторе MQM8790-HS2F, хорошо позиционированы для поддержки следующей волны расширения.