Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch в действии

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Коммутатор InfiniBand в действии – оптимизация межсоединения с малой задержкой для кластеров RDMA/HPC/AI

Региональный суперкомпьютерный центр недавно провел масштабное обновление своей вычислительной инфраструктуры искусственного интеллекта, увеличив количество графических процессоров NVIDIA A100 с 64 до 256 для поддержки крупномасштабных рабочих нагрузок по обучению языковых моделей и секвенированию генома. Однако существующая сеть 100GbE RoCEv2 стала постоянным узким местом: частые штормы PFC, непредсказуемая задержка и сложная настройка ECN потребовали значительных инженерных усилий и увеличили время выполнения работ более чем на 40%. В этом тематическом исследовании рассматривается, как центр развернулМелланокс (NVIDIA Mellanox) 920-9B110-00FH-0D0Коммутатор InfiniBand преобразует свою структуру, обеспечивая детерминированное соединение с малой задержкой для приложений с интенсивным использованием RDMA.

Предыстория и проблемы – потолок Ethernet

В первоначальной архитектуре центра использовались два конечных коммутатора 100GbE с RoCEv2, соединяющие графические серверы и параллельную файловую систему. По мере масштабирования обучающих заданий в сети возникли три критические проблемы: во-первых, ежедневные блокировки PFC (Priority Flow Control), вызывающие необходимость перезагрузки вручную; во-вторых, при коллективных операциях полного сокращения задержки в хвосте превышали 200 мкс, что напрямую замедляло загрузку графического процессора; в-третьих, устранение неполадок требовало глубокой проверки пакетов, которая занимала много времени и редко приводила к окончательным результатам. Операционная группа поняла, что Ethernet, даже с расширениями RDMA, не может обеспечить детерминированную структуру без потерь, необходимую для рабочих нагрузок ИИ следующего поколения.

Решение и развертывание – The920-9B110-00FH-0D0 Коммутатор InfiniBand OPNкак новая магистраль

После оценки нескольких вариантов центр выбралNVIDIA Мелланокс 920-9B110-00FH-0D0переключатель, основанный на920-9B110-00FH-0D0 MQM8790-HS2F 200 Гбит/с HDRплатформа. В развертывании использовалась двухуровневая топология «жирного дерева»: четыре920-9Б110-00ФХ-0Д0коммутаторы в качестве листьев (каждый из которых соединяет 64 узла графического процессора через каналы 200G) и два дополнительных блока в качестве опор, обеспечивая полную полосу пропускания пополам. Коммутаторы были сопряжены с существующими HDR-адаптерами ConnectX‑6, используяСовместимость с 920-9B110-00FH-0D0экосистему для обеспечения плавной интеграции. Ключевые решения по развертыванию включали:

• Кабели:Оптические модули 200G HDR для расстояний до 100 метров с пассивными ЦАП для соединений внутри стойки.
• Управление:NVIDIA UFM (Unified Fabric Manager) для автоматического обнаружения топологии, адаптивных политик маршрутизации и телеметрии в реальном времени.
• Коллективная разгрузка:SHARPv2 позволил ускорить операции полного сокращения, разгрузив работу центральных процессоров и уменьшив помехи в сети.

Команда сослалась наТехнический паспорт 920-9B110-00FH-0D0иТехнические характеристики 920-9Б110-00ФХ-0Д0для проверки требований к электропитанию и охлаждению — форм-фактор коммутатора 1U и плотность 200G на порт легко вписываются в существующие стойки без дополнительных изменений инфраструктуры.920-9B110-00FH-0D0 Коммутатор InfiniBand Решение OPNтакже упрощена закупка: точный OPN (номер детали для заказа) обеспечивает правильную конфигурацию.

Измеряемые результаты и выгоды – количественный прирост производительности

После двух недель развертывания и проверки центр зафиксировал значительные улучшения по ключевым показателям эффективности. В следующей таблице приведены показатели до и после типичного задания по обучению с 256 графическими процессорами (большое предварительное обучение по BERT):

Помимо цифр, команда сообщила, чтоNVIDIA Мелланокс 920-9B110-00FH-0D0предоставила структуру с нулевой потерей пакетов, полностью исключив ручное вмешательство, которое ранее требовалось для восстановления PFC. Встроенная телеметрия, предоставляемая920-9B110-00FH-0D0 Переключатель InfiniBand OPNпредоставило операционному персоналу детальную информацию о перегрузке каждого потока и использовании пути, что позволило упреждающее планирование мощности. Кроме того,920-9Б110-00ФХ-0Д0 ценаоказался экономически эффективным по сравнению с переходом на коммутаторы 400G NDR, что делает его идеальным вариантом для среднего бюджета центра.

Резюме и перспективы: проверенный путь к межсоединению с малой задержкой

Опыт суперкомпьютерного центра показывает, чтоМелланокс (NVIDIA Mellanox) 920-9B110-00FH-0D0предлагает прагматичную, высокопроизводительную альтернативу как испытывающим трудности Ethernet-фабрикам, так и дорогостоящим решениям высокого класса. Обеспечивая пропускную способность HDR 200 Гбит/с, среднюю задержку менее 10 мкс и транспортировку RDMA без потерь, коммутатор позволяет организациям раскрыть весь потенциал своих инвестиций в графические процессоры, ускоряя время получения аналитической информации для рабочих нагрузок искусственного интеллекта и высокопроизводительных вычислений.

Заглядывая в будущее, центр планирует расширить свою структуру до 512 графических процессоров, используя тот же920-9B110-00FH-0D0 Коммутатор InfiniBand Решение OPN, масштабирование за счет добавления дополнительных конечных коммутаторов при сохранении существующей опорной инфраструктуры. Совместимость коммутатора с будущими адаптерами NVIDIA (включая ConnectX‑7) обеспечивает плавное обновление. Для организаций, оценивающих подобные обновления,Технические характеристики 920-9Б110-00ФХ-0Д0иТехнический паспорт 920-9B110-00FH-0D0обеспечить все необходимые расчетные параметры, а агрегаты легко доступны (920-9B110-00FH-0D0 в продажепо авторизованным каналам).

Это реальное развертывание подтверждает, что920-9Б110-00ФХ-0Д0Это больше, чем продукт: это проверенный инструмент для создания высокоэффективных кластерных сетей с малой задержкой, готовый удовлетворить потребности следующего десятилетия в области искусственного интеллекта и научных вычислений.