NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch в производстве.

Поскольку обучение на больших языковых моделях и эксамасштабное моделирование HPC заставляют кластеры графических процессоров работать с десятками тысяч узлов, традиционные фабрики Ethernet борются с задержкой хвоста и перегрузкой incast. Национальный вычислительный центр искусственного интеллекта недавно решил эту проблему, развернувNVIDIA Мелланокс MQM8790-HS2FКоммутаторы InfiniBand служат основой расширения графического процессора на 800 узлов. В этой статье описывается их реальный путь — от узких мест до измеримых выгод — с использованием RDMA и внутрисетевых вычислений для оптимизации производительности межсетевого взаимодействия кластеров.

Предыстория и проблема: когда сеть становится узким местом в сфере искусственного интеллекта

Устаревший кластер центра из 400 узлов работал на Ethernet RoCEv2 со скоростью 100 Гбит/с. Когда рабочие нагрузки перешли от моделей CNN к LLM с триллионом параметров, задержка связи между узлами резко возросла. Во время операций All-Reduce время ожидания сети занимало более 40 % общего времени итерации. Архитекторам требовалась платформа, обеспечивающая задержку менее микросекунды, управление потоком без потерь и встроенную поддержку RDMA — и все это при повторном использовании существующей оптики QSFP56. После оценки нескольких альтернатив,MQM8790-HS2F Коммутатор InfiniBandвыделялся пропускной способностью HDR 200 Гбит/с и 40-портовой конструкцией с высокой плотностью размещения.

Решение и развертывание: HDR Fat‑Tree на базе MQM8790-HS2F

В новом межсоединении используется двухуровневая топология «жирного дерева», в которой используются 24 устройстваNVIDIA Мелланокс MQM8790-HS2Fчерез сердцевинный и листовой слои. Каждый коммутатор имеет 40 портов QSFP56, работающих со скоростью 200 Гбит/с в каждом направлении, что обеспечивает пропускную способность неблокируемой коммутации 16 Тбит/с. Инженеры последовали заТехническое описание MQM8790-HS2FиТехнические характеристики MQM8790-HS2Fдля обеспечения адаптивной маршрутизации и расширенного контроля перегрузки. Каждый узел графического процессора подключается через адаптеры HDR ConnectX‑6, используя встроенный InfiniBand RDMA для передачи данных с нулевым копированием, разгружая более 95 % нагрузки ЦП на обмен данными.

Центр также зарезервировал несколькоMQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56единиц для зоны локальных вычислений. Благодаря SHARP (протокол масштабируемой иерархической агрегации и сокращения) коллективные операции, такие как All-Reduce, выгружаются с серверов непосредственно в сеть коммутатора. При обучении на 128 графических процессорах это сократило время связи на 32 % без каких-либо изменений кода в системе искусственного интеллекта.

Результаты и преимущества: меньшая задержка, более высокая пропускная способность, контролируемая совокупная стоимость владения

Показатели после развертывания показали значительные улучшения:

• Задержка между точками:Тесты MPI «пинг-понг» показали ~0,9 мкс на каналах HDR 200 Гбит/с, что на 65 % ниже, чем в устаревшей настройке RoCE.
• Эффективность коллективной коммуникации:В масштабе 512 графических процессоров All-Reduce завершился всего за 18,3 мс, что на 52 % меньше по сравнению с предыдущим базовым показателем.
• Использование сети:Адаптивная маршрутизация позволяла балансировать нагрузку на канале на уровне выше 92 % при почти полном отсутствии перегрузок.
• Закупки и операции:Цена MQM8790-HS2Fна порт было примерно на 12% ниже, чем у конкурирующих решений 200G. Более того,Совместимость с MQM8790-HS2FОптика представляет собой стандартные модули QSFP56, позволяющие полностью повторно использовать существующие кабели.

«После переезда вMQM8790-HS2F Коммутатор InfiniBand, мы наконец достигли почти линейного масштабирования (эффективность 0,9) при обучении модели с триллионом параметров», — сказал ведущий архитектор центра. «Сеть больше не является узким местом — мы можем сосредоточиться на инновациях в архитектуре модели, а не на планировании связи».

Заключение и перспективы: основной строительный блок для экзафлопсных межсоединений

Этот реальный случай демонстрирует, чтоMQM8790-HS2Fэто гораздо больше, чем более высокая плотность портов. Благодаря HDR 200 Гбит/с, встроенному RDMA, внутрисетевым вычислениям SHARP и адаптивной маршрутизации он напрямую решает проблемы межсоединений с малой задержкой в ​​современных кластерах AI/HPC. Планируете ли вы университетский суперкомпьютерный центр или модернизируете корпоративное облако искусственного интеллекта,NVIDIA Мелланокс MQM8790-HS2Fпредлагает сбалансированный путь, сочетающий производительность, совместимость и предсказуемость затрат. В настоящее время коммутатор находится в серийном производстве. Для получения подробных рекомендаций по проектированию запросите официального представителя.Техническое описание MQM8790-HS2Fс партнерского портала NVIDIA. Для инвентаризации в режиме реального времени илиMQM8790-HS2F на продажувопросы, свяжитесь с авторизованными поставщиками решений для получения информации о ценах и технической поддержке.