Коммутатор InfiniBand Mellanox 920-9B210-00FN-0D0 | Оптимизация межсоединений RDMA, HPC и AI кластеров с низкой задержкой

По мере роста сложности моделей искусственного интеллекта кластеры GPU и среды высокопроизводительных вычислений (HPC) все больше зависят от эффективного взаимодействия между вычислительными узлами. Пропускная способность сети, задержка и управление перегрузками стали критически важными факторами, влияющими на производительность распределенных рабочих нагрузок. Коммутатор NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand обеспечивает высокоплотную сетевую основу для этих требовательных приложений.

Основанный на технологии NVIDIA Quantum-2, QM9790 предлагает 64 порта NDR, работающих на скорости до 400 Гбит/с, с общей двунаправленной коммутационной способностью до 51,2 Тбит/с. В этой статье рассматривается репрезентативный сценарий развертывания многостоечного ИИ и HPC, подчеркивая, как 920-9B210-00FN-0D0 может помочь организациям оптимизировать RDMA-соединения, повысить масштабируемость фабрики и уменьшить ограничения производительности, связанные с сетью.

01. Предпосылки и проблемы: сетевые узкие места в ИИ- и HPC-кластерах

Рассмотрим центр обработки данных, использующий несколько стоек серверов GPU для обучения больших языковых моделей, научных симуляций и распределенной обработки данных. По мере развертывания дополнительных вычислительных узлов объем трафика, генерируемого коллективными коммуникациями, синхронизацией параметров и удаленным доступом к данным, значительно увеличивается.

Хотя современные GPU обладают значительными вычислительными возможностями, недостаточная производительность межсоединений может помешать приложениям полностью использовать доступные ресурсы. В этой среде сетевые архитекторы обычно сталкиваются с несколькими важными проблемами:

• Ограничения пропускной способности: Масштабные рабочие нагрузки GPU требуют непрерывного обмена данными, что потенциально может перегрузить низкоскоростные межсоединения.
• Задержка связи: Частые операции синхронизации могут увеличить время ожидания между распределенными вычислительными узлами.
• Сетевые перегрузки: Одновременное взаимодействие между несколькими серверами может создавать горячие точки и непоследовательную производительность приложений.
• Проблемы масштабируемости: Расширение размера кластера требует тщательного планирования емкости коммутаторов, сетевой топологии и кабельной инфраструктуры.
• Операционная сложность: Поддержание надежного управления фабрикой, видимости сбоев и согласованности конфигурации становится все более важным.

Эти проблемы демонстрируют, почему высокоскоростные сети InfiniBand остаются важными для тесно связанных вычислительных рабочих нагрузок. Коммутатор InfiniBand 920-9B210-00FN-0D0 OPN предоставляет аппаратные возможности, необходимые для создания архитектур межсоединений с высокой пропускной способностью и низкой задержкой.

02. Архитектура решения: развертывание коммутатора InfiniBand NVIDIA Quantum-2 NDR

Коммутатор 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR разработан для высокопроизводительных вычислительных фабрик, требующих значительной пропускной способности и эффективного взаимодействия. Имея 32 физических разъема OSFP, обеспечивающих 64 порта NDR, система 1U поддерживает плотные межсоединения между серверами GPU, сетевыми коммутаторами и другими устройствами InfiniBand.

В репрезентативной многостоечной реализации коммутаторы QM9790 могут располагаться в топологии InfiniBand «leaf-spine». Серверы GPU, оснащенные совместимыми адаптерами NVIDIA ConnectX, подключаются к коммутаторам leaf, а коммутаторы spine обеспечивают связь между стойками. Количество коммутаторов, восходящих каналов и уровней сети зависит от размера кластера, требований к пропускной способности и выбранного коэффициента переподписки.

RDMA и низколатентная передача данных

Remote Direct Memory Access (RDMA) позволяет совместимым вычислительным системам передавать данные напрямую между зарегистрированными областями памяти с меньшим участием ЦП. В распределенных средах GPU это может помочь снизить накладные расходы на связь и повысить эффективность перемещения данных по сравнению с традиционными программно-интенсивными сетевыми путями.

Фабрика InfiniBand Quantum-2 поддерживает RDMA-соединения и расширенные сетевые возможности, включая адаптивную маршрутизацию, управление перегрузками и внутрисетевые вычисления NVIDIA SHARP. При правильной настройке и поддержке со стороны стека приложений эти технологии могут помочь оптимизировать коллективные операции, уменьшить задержки, связанные с перегрузками, и повысить эффективность использования сетевых ресурсов.

Управление фабрикой и планирование совместимости

QM9790 — это коммутатор InfiniBand с внешним управлением, в отличие от QM9700 с внутренним управлением. Поэтому развертывание требует соответствующего внешнего управления подсетями и операционного мониторинга. NVIDIA Unified Fabric Manager (UFM) может быть интегрирован там, где это поддерживается, для обеспечения централизованной видимости фабрики и функций управления.

Инженеры, оценивающие совместимые с 920-9B210-00FN-0D0 адаптеры и компоненты межсоединений, должны подтвердить возможности хост-адаптеров, совместимость прошивок, одобренные кабели и конфигурации разъемов. Модель 920-9B210-00FN-0D0 соответствует конфигурации с прямым воздушным потоком, от питания к разъему (P2C), которая также должна соответствовать конструкции охлаждения центра обработки данных.

03. Ожидаемые результаты и операционные преимущества

После внедрения соответствующим образом спроектированной сети InfiniBand NDR организации могут нацелиться на повышение эффективности связи, использование ресурсов и масштабируемость фабрики. Фактическое повышение производительности зависит от характеристик рабочей нагрузки, аппаратного обеспечения сервера, сетевой топологии, конфигурации программного обеспечения и исходных сетевых узких мест.

Для объективной оценки производительности сетевые инженеры должны установить базовый уровень до миграции и провести контролируемые испытания после развертывания. Полезные инструменты проверки включают утилиты производительности InfiniBand, тесты NCCL и бенчмарки приложений на основе MPI.

Рекомендуемые измерения включают эффективную пропускную способность, задержку точка-точка, производительность коллективных коммуникаций, счетчики ошибок канала, индикаторы перегрузки и время завершения рабочей нагрузки от конца до конца. Сравнение задержек P50, P95 и P99 при репрезентативных условиях нагрузки также может помочь выявить проблемы с согласованностью производительности, которые могут скрываться средними значениями.

Вместо предположения о фиксированном процентном улучшении цель состоит в том, чтобы определить, уменьшает ли обновленная сеть измеримые коммуникационные узкие места и позволяет ли вычислительным ресурсам работать более эффективно при фактических производственных рабочих нагрузках.

04. Технические характеристики и выбор продукта

Коммутатор NVIDIA Mellanox 920-9B210-00FN-0D0 относится к семейству NVIDIA Quantum-2 QM9790. Следующие спецификации служат ориентиром для проектирования инфраструктуры и закупки продукции.

При просмотре технического описания 920-9B210-00FN-0D0 или сравнении вариантов развертывания ИТ-отделы должны оценивать комплексное решение, а не только емкость коммутатора. Необходимо совместно учитывать дизайн кабельной системы, совместимость адаптеров, внешнее управление подсетями, воздушный поток в стойке и будущее расширение кластера.

05. Заключение и перспективы

Коммутатор 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR обеспечивает прочную основу для организаций, стремящихся модернизировать сетевую инфраструктуру ИИ и HPC. Сочетая высокоскоростные соединения InfiniBand с расширенными сетевыми возможностями Quantum-2, он поддерживает эффективные RDMA-соединения и масштабируемые архитектуры распределенных вычислений.

Поскольку модели ИИ становятся крупнее, а кластеры GPU расширяются на большее количество вычислительных узлов, скоординированная оптимизация сетевого оборудования, управления фабрикой и программного взаимодействия останется необходимой. Решение OPN коммутатора InfiniBand 920-9B210-00FN-0D0 предлагает практический строительный блок для высокопроизводительных, низколатентных архитектур межсоединений, которые могут развиваться в соответствии с меняющимися требованиями к рабочим нагрузкам.