NVIDIA Mellanox MQM8790-HS2F InfiniBand коммутатор в действии: оптимизация низколатентных соединений для RDMA/HPC/AI кластеров

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch в действии: оптимизация низкозадержной взаимосвязи для кластеров RDMA / HPC / AI

В сфере обучения моделей искусственного интеллекта и вычислений высокой производительности (HPC) задержка сети часто становится критическим узким горлом, ограничивающим масштабируемость и эффективность кластера.Национальный суперкомпьютерный центр недавно завершил масштабную модернизацию инфраструктуры, переход от 100Gb/s EDR InfiniBand ткани к 200Gb/s HDR решение, построенное вокругNVIDIA Mellanox MQM8790-HS2FВ данном тематическом исследовании рассматриваются проблемы, с которыми они столкнулись, стратегия развертывания и измеримые достижения в области производительности, достигнутые с помощью этой взаимосвязи следующего поколения.

События и проблемы: когда задержка становится пределом производительности

Суперкомпьютерный центр управляет гетерогенным кластером, состоящим из более чем 2000 узлов графического процессора, поддерживающим разнообразную смесь рабочей нагрузки, которая включает моделирование погоды, исследования генома,и обучение большим языковым моделямС предыдущей сетью EDR 100 Гбит/с,Операционная группа отметила, что операции коллективной коммуникации, такие как "все-уменьшить" и "все-собрать", потребляли все большую долю общего времени выполнения работы по мере роста числа узлов.В некоторых работах по распределенному обучению на сетевые накладные расходы приходилось почти 40% времени выполнения с конца на конец, что сильно ограничивало использование GPU и увеличивало циклы конвергенции моделей.

Дополнительные проблемы включали:

• Горячие точки пробок:Узоры трафика в обучении ИИ часто прорывны и непредсказуемы, что приводит к блокировке линии и увеличению задержки работы, что нарушает планирование работы.
• Недостаточное ускорение в сети:В устаревшей ткани отсутствовала поддержка продвинутых возможностей коллективной разгрузки, что заставляло все операции сокращения переходить через хост-CPU и иерархию памяти.
• Сложность управления:Устранение проблем с производительностью требует ручного анализа нескольких инструментов мониторинга, что затрудняет выявление основных причин в масштабных развертываниях.

После оценки нескольких вариантов взаимосвязи, центр выбралMQM8790-HS2Fкак основа для своей новой ткани.Лист данных MQM8790-HS2F, этот коммутатор обеспечивает 40 портов HDR без блокировки пропускной способности 200 Гбит/с, латентность под-130 нс и поддержку SHARP v3.0 коллективные возможности снятия нагрузки, которые напрямую затрагивали их основные проблемы.

Решение и развертывание: создание ткани с низкой задержкой для ИИ/ВПК

Развертывание приняло двухуровневую топологию жирового дерева, с 24MQM8790-HS2F 200Gb/s HDR 40-портный QSFP56Схема включает в себя две конфигурации:1 переподписка по всему кластру достаточно для их текущей рабочей нагрузки, обеспечивая при этом возможность дальнейшего расширения.

Каждый переключатель соединяется с вычислительными узлами через NVIDIA ConnectX-6 HDR хост-канал адаптеров.Совместимость MQM8790-HS2FОптическая и кабельная экосистема позволили команде повторно использовать существующие кабели QSFP56, ускорив развертывание и снизив затраты на закупки. Вся физическая установка была завершена в течение двух недель,с управляющей плоскостью, использующей Unified Fabric Manager (UFM) NVIDIA для автоматического обнаружения и предоставления топологии.

Поддержка переключателя для адаптивного маршрутизации и контроля перегрузки оказалась критически важной для обработки трафика, характерного для нагрузок ИИ.Динамическое перераспределение потоков по доступным путям, вMQM8790-HS2F InfiniBand переключательминимальное образование горячих точек и сохранение постоянной производительности даже во время пиковых периодов планирования работы.

Результаты и выгоды: Измеримое улучшение производительности работ и использования GPU

После трех месяцев производства суперкомпьютерный центр сообщил о значительном повышении производительности в нескольких измерениях:

• Уменьшение задержки:Средняя задержка ППП MPI уменьшилась с 680 нс на предыдущей ткани EDR до менее 130 нс сNVIDIA Mellanox MQM8790-HS2F, что представляет собой 5-кратное улучшение эффективности обмена сообщениями.
• Ускорение коллективных операций:Все-уменьшить задержку для 1024-узлов рабочих мест снизилась на 62%, благодаря SHARP v3.0 выгрузки, которая выполняет операции сокращения непосредственно внутри коммутатора ткани.
• Использование GPU:Совместный эффект более низкой задержки и более высокой пропускной способности увеличил среднее использование GPU с 72% до 91%, что привело к сокращению времени до решения на 26% для больших запусков обучения языковой модели.
• Эффективность планирования работы:Снижение вариантов задержки хвоста позволило планировщику SLURM упаковать больше рабочих мест в один и тот же набор узлов без помех производительности, увеличив общую пропускную способность кластера примерно на 18%.

Когда команда позже сравнилаЦена MQM8790-HS2Fпротив альтернативных переключателей от других поставщиков, they found that the total cost per Gb/s delivered was highly competitive—especially when factoring in the reduced management overhead and the switch's ability to support both HDR and HDR100 link speeds, защищая инвестиции в среды смешанной скорости.

С точки зрения эксплуатации интегрированная платформа UFM обеспечивала единую стеклянную панель для мониторинга состояния ткани, моделей трафика и ошибок на уровне ссылки.Эта видимость позволила команде проактивно выявлять деградирующие кабели и заменять их во время планового обслуживания, избегая незапланированного простоя.

Резюме и перспективы: план для нового поколения тканей с низкой задержкой

Это исследование показывает, чтоMQM8790-HS2F Раствор коммутатора InfiniBandЭто больше, чем простое повышение скорости, это трансформационный компонент для организаций, стремящихся раскрыть весь потенциал производительности своей инфраструктуры ИИ и HPC.Благодаря сочетанию высокой плотности портов, сверхнизкой задержкой и вычислительными возможностями в сети, коммутатор напрямую устраняет узкие уголки связи, которые исторически ограничивали масштабируемость кластеров.

Оглядываясь вперед, суперкомпьютерный центр планирует расширить свою структуру до 2400 узлов в следующем финансовом году, используя те жеMQM8790-HS2Fкоманда также изучает поддержку переключателя для усовершенствованных алгоритмов уменьшения SHARP v3.0,которые обещают еще больше ускорить новые нагрузки, такие как графические нейронные сети и обучение с усилением.

Для ИТ-менеджеров, сетевых архитекторов и инженеров, оценивающих варианты взаимосвязи для своих собственных кластерных конструкций,NVIDIA Mellanox MQM8790-HS2Fпредлагает проверенный, проверенный на практике путь к достижению латентности до микросекунд, максимального использования GPU и упрощенного управления тканями.Спецификации MQM8790-HS2Fи справочные проекты доступны на портале технической документации NVIDIA, и переключатель теперь широко доступенMQM8790-HS2F для продажинайти регионального партнера.