NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch на практике

Коммутатор NVIDIA Mellanox MQM8790-HS2F InfiniBand на практике | Оптимизация межсоединения с малой задержкой для кластеров RDMA/HPC/AI

Предыстория и проблема: узкое место в задержках в крупномасштабных кластерах искусственного интеллекта и высокопроизводительных вычислений

По мере того, как обучающие кластеры ИИ масштабируются до тысяч графических процессоров, а системы HPC стремятся к экзафлопсной производительности, сетевая структура, соединяющая вычислительные узлы, становится критически важным фактором, определяющим производительность. В таких средах задержка — это не просто показатель — она напрямую влияет на производительность приложений, время принятия решения и общую эффективность кластера. Для рабочих нагрузок, которые в значительной степени зависят от коллективных операций MPI (интерфейс передачи сообщений) и шаблонов взаимодействия «все со всеми», таких как обучение больших языковых моделей и вычислительная гидродинамика, даже увеличение задержки на микросекундном уровне может привести к часам дополнительного времени выполнения. Традиционные сети Ethernet, даже с RDMA over Converged Ethernet (RoCE), часто с трудом обеспечивают детерминированную низкую задержку, необходимую этим ресурсоемким приложениям.

Недавно с этой проблемой столкнулась национальная исследовательская лаборатория, развернувшая кластер высокопроизводительных вычислений на 2000 узлов для моделирования климата и исследований искусственного интеллекта. Кластеру требовалось подключение со скоростью 200 Гбит/с и задержкой менее 100 наносекунд для поддержки как рабочих нагрузок высокопроизводительных вычислений на основе MPI, так и распределенного обучения искусственного интеллекта. Команде инженеров требовался коммутатор, который мог бы обеспечить стабильную производительность с низкой задержкой в ​​любом масштабе, поддерживая при этом расширенные функции, такие как адаптивная маршрутизация и контроль перегрузки, для поддержания эффективности сети в различных условиях нагрузки.NVIDIA Мелланокс MQM8790-HS2Fоказался идеальным решением, предлагающим 40 портов HDR InfiniBand 200 Гбит/с с задержкой менее 100 наносекунд и расширенными возможностями сетевых вычислений.

Решение и развертывание: создание фабрики InfiniBand с малой задержкой

Чтобы решить проблемы задержки и масштабируемости, лаборатория развернулаNVIDIA Мелланокс MQM8790-HS2Fв качестве основного коммутатора в архитектуре коммутационной матрицы. ЭтотMQM8790-HS2F Коммутатор InfiniBandобеспечивает 40 портов QSFP56, каждый из которых работает со скоростью 200 Гбит/с HDR, обеспечивая общую коммутационную способность 8 Тбит/с с задержкой между портами менее 100 наносекунд. Структура была разработана с топологией из 4 узлов и 16 листьев, соединяющей 2000 вычислительных узлов, каждый из которых оснащен HDR-адаптерами ConnectX-6.MQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56Конфигурация позволила команде создать неблокирующую фабрику с полной полосой пропускания пополам, гарантируя, что каждый узел может взаимодействовать с любым другим узлом на скорости проводной сети.

Развертывание осуществлялось в три ключевых этапа:

• Дизайн ткани:ИспользуяMQM8790-HS2F Коммутатор InfiniBand, команда разработала топологию Spine-Leaf, в которой каждый из 16 Leaf-коммутаторов подключен к 50 вычислительным узлам (используя комбинацию прямых соединений 200 Гбит/с и коммутационных соединений HDR100 100 Гбит/с), а 4 Spine-коммутатора обеспечивают межлистовое соединение.MQM8790-HS2FКоммутаторы были настроены с включенной адаптивной маршрутизацией, что позволяет фабрике динамически распределять трафик по доступным путям и избегать точек перегрузки.
• Расширенная конфигурация функций:Команда включила SHARP (протокол масштабируемой иерархической агрегации и сокращения) на коммутаторах MQM8790-HS2F, чтобы разгрузить коллективные операции MPI с вычислительных узлов. Эти возможности внутрисетевых вычислений позволили коммутаторам напрямую выполнять операции полного сокращения и широковещательной передачи, сокращая количество обходов сети и уменьшая общую задержку для коллективной связи.
• Настройка производительности:Управление подсетями было настроено с помощью платформы NVIDIA Unified Fabric Manager (UFM), которая обеспечивала в режиме реального времени видимость состояния структуры, показателей задержки и моделей перегрузки. Команда настроила параметры управления перегрузкой, чтобы оптимизировать производительность для смешанного профиля рабочих нагрузок HPC и AI.

Потому чтоNVIDIA Мелланокс MQM8790-HS2FявляетсяСовместимость с MQM8790-HS2FБлагодаря более широкой экосистеме NVIDIA InfiniBand, включая адаптеры ConnectX‑6 и BlueField‑2, развертывание прошло без проблем и не потребовало никаких специальных драйверов или исправлений встроенного ПО. Интеграция коммутатора с платформой UFM позволила команде отслеживать производительность фабрики в любом масштабе, выявлять и устранять потенциальные узкие места до того, как они повлияют на время работы приложений.

Результаты и преимущества: измеримые улучшения задержки и производительности приложений.

Сравнительный анализ после развертывания в кластере из 2000 узлов выявил значительное улучшение производительности. Во-первых, средняя задержка между портами в сети составила 85 наносекунд, что соответствует спецификации менее 100 наносекунд, описанной вТехническое описание MQM8790-HS2F. Такая низкая задержка напрямую привела к увеличению производительности приложений: операции полного сокращения MPI выполнялись на 35 % быстрее по сравнению с предыдущей фабрикой InfiniBand со скоростью 100 Гбит/с, а распределенные задания по обучению ИИ (с использованием связи на основе NCCL) позволили сократить время сквозного цикла примерно на 28 %.

Во-вторых, возможности внутрисетевых вычислений SHARP обеспечили существенный выигрыш в производительности. Перенеся коллективные операции на коммутаторы MQM8790-HS2F, кластер снизил загрузку ЦП и графического процессора для задач связи почти на 20 %, высвободив вычислительные ресурсы для реальных вычислений. Это было особенно полезно для крупномасштабного обучения ИИ, где коллективное общение может составлять 30–40% общего времени работы.

В-третьих, функция адаптивной маршрутизации оказалась критически важной для поддержания стабильной производительности в различных условиях нагрузки. В периоды пиковой нагрузки, когда фабрика обрабатывает смесь трафика MPI и AI, адаптивная маршрутизация динамически распределяет трафик по доступным путям, поддерживая среднюю задержку в пределах 10 % от базового уровня и предотвращая снижение производительности, вызванное перегрузкой. Команда отслеживала состояние сети с помощью платформы UFM, которая предоставляла информационные панели в режиме реального времени, отслеживающие задержку, пропускную способность и использование каналов на всех 20 коммутаторах.

В-четвертых, плотностьMQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56переключатель позволил уменьшить занимаемую площадь. Лаборатория сократила количество необходимых коммутаторов на 50 % по сравнению с предыдущей инфраструктурой InfiniBand со скоростью 100 Гбит/с, что позволило сократить занимаемое пространство в стойке и требования к электропитанию. Каждый MQM8790-HS2F потребляет менее 230 Вт типичной мощности, что способствует снижению затрат на охлаждение сетевой инфраструктуры на 20%.

С точки зрения эксплуатации возможности управления коммутатором упростили текущее обслуживание. Сетевая группа лаборатории использовала интерфейсы командной строки и веб-интерфейса для обновления прошивки и изменения конфигурации без нарушения работы коммутационной сети, используя поддержку коммутатора для беспрепятственных обновлений.Технические характеристики MQM8790-HS2Fвключают комплексные функции управления, включая мониторинг SNMP и интеграцию системного журнала, что позволяет команде интегрировать фабрику в существующую структуру мониторинга центра сетевых операций (NOC).

Резюме и перспективы: проект InfiniBand Fabric с малой задержкой

Опыт развертывания сNVIDIA Мелланокс MQM8790-HS2FВ кластере высокопроизводительных вычислений и искусственного интеллекта из 2000 узлов наглядно демонстрируется, что 40-портовый коммутатор HDR InfiniBand со скоростью 200 Гбит/с может обеспечить низкую задержку, масштабируемость и расширенные функции, необходимые для требовательных исследовательских и корпоративных рабочих нагрузок. Используя задержку коммутатора менее 100 наносекунд, адаптивную маршрутизацию и возможности внутрисетевых вычислений SHARP, организации могут создавать фабрики, которые ускоряют связь MPI и AI, сокращают время принятия решения и повышают общую эффективность кластера.

Заглядывая в будущее, поскольку кластеры обучения искусственного интеллекта продолжают расти до более чем 10 000 графических процессоров, а системы HPC масштабируются до эксамасштабного масштаба, спрос на коммутаторы InfiniBand с высокой плотностью и малой задержкой будет только возрастать. MQM8790-HS2F хорошо подходит для этой траектории, поскольку его плотность в 40 портов, коммутационная способность 8 Тбит/с и поддержка скоростей HDR200 и HDR100 обеспечивают совместимость с вычислительными узлами как текущего, так и следующего поколения. Для организаций, планирующих аналогичные развертывания кластеров HPC или AI, многоуровневый подход с опорными листьями, проверенный в этом развертывании, предлагает практическую дорожную карту: развернуть листовые коммутаторы MQM8790-HS2F для подключения доступа, использовать опорные коммутаторы с более высокой плотностью портов (например, серия QM9700 с 64 портами) для более крупных фабрик и поддерживать единую структуру управления, использующую UFM для превентивной оптимизации фабрики.

Подробные шаблоны проектирования фабрики, руководства по настройке производительности и контрольные списки развертывания см.Техническое описание MQM8790-HS2Fи документацию по архитектуре NVIDIA Mellanox InfiniBand.