Коммутатор InfiniBand Mellanox 920-9B210-00FN-0D0 | Техническое решение для RDMA, HPC и ИИ-кластеров с низкой задержкой

Mellanox 920-9B210-00FN-0D0 InfiniBand коммутатор | Техническое решение для оптимизации низколатентных соединений в кластерах RDMA, HPC и ИИ

Комплексное руководство по технической архитектуре и развертыванию, охватывающее сетевые технологии NVIDIA Quantum-2 NDR InfiniBand, ускорение RDMA, масштабируемые соединения GPU-кластеров, управление сетью и оптимизацию производительности.

Продукт: NVIDIA QM9790 / MQM9790-NS2F   |   Артикул: 920-9B210-00FN-0D0   |   Технология: 400 Гбит/с NDR InfiniBand

Искусственный интеллект, высокопроизводительные вычисления (HPC) и распределенные рабочие нагрузки с использованием GPU предъявляют беспрецедентные требования к сетевой инфраструктуре центров обработки данных. По мере роста вычислительных кластеров эффективность сетевого взаимодействия все чаще определяет, смогут ли дорогостоящие ресурсы GPU работать в полную силу. Коммутатор NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand обеспечивает высокопроизводительную коммутационную платформу с низкой задержкой для создания масштабируемых сетей с ускоренными вычислениями.

Основанный на технологии NVIDIA Quantum-2, QM9790 поддерживает 64 неблокирующих порта NDR InfiniBand со скоростью 400 Гбит/с через 32 разъема OSFP, с общей двунаправленной пропускной способностью коммутации до 51,2 Тбит/с. В этой технической белой книге объясняется, как интегрировать коммутатор в сетевые архитектуры с поддержкой RDMA, оптимизировать распределенные коммуникации ИИ, проектировать отказоустойчивые сети HPC и устанавливать эффективные практики развертывания и эксплуатации.

01. Предпосылки проекта и анализ требований

Современные платформы обучения ИИ обычно объединяют несколько GPU-серверов в распределенные вычислительные кластеры. Во время обучения модели GPU часто обмениваются градиентами, параметрами и промежуточными результатами, используя библиотеки связи, такие как NVIDIA NCCL. Приложения HPC аналогично зависят от низколатентной передачи сообщений через MPI и другие фреймворки параллельных вычислений.

По мере увеличения количества вычислительных узлов трафик связи становится более сложным. Приложения могут столкнуться с насыщением полосы пропускания, горячими точками перегрузки, задержками коллективных коммуникаций и непоследовательной производительностью, вызванной сетевыми конфликтами.

Высокопроизводительное решение InfiniBand должно отвечать следующим техническим требованиям:

• Высокая пропускная способность: Обеспечить достаточную пропускную способность соединения для крупномасштабного перемещения данных между GPU-серверами и вычислительными узлами.
• Низкая задержка связи: Минимизировать задержки, связанные с частой синхронизацией и обменом малыми сообщениями.
• Поддержка RDMA: Обеспечить эффективную связь память-память с уменьшенным участием ЦП.
• Масштабируемость сети: Поддерживать расширение от отдельных стоек серверов до многостоечных сетей ИИ и HPC.
• Оптимизация трафика: Улучшить использование сети за счет адаптивной маршрутизации и управления перегрузками.
• Операционная надежность: Установить процедуры мониторинга, изоляции неисправностей и проверки производительности.

Цель проектирования: Создать масштабируемую высокопроизводительную сеть InfiniBand, которая минимизирует узкие места, связанные с сетью, и обеспечивает предсказуемую производительность RDMA для распределенного обучения ИИ, научных вычислений и интенсивных вычислительных приложений HPC.

02. Общая сетевая и системная архитектура

Предлагаемая архитектура использует 920-9B210-00FN-0D0 InfiniBand switch OPN в качестве основного строительного блока в высокоскоростной сети NDR. В зависимости от масштаба развертывания коммутаторы могут работать в одноуровневой конструкции или в многоуровневой топологии «leaf-spine».

Для многостоечных GPU-кластеров двухуровневая архитектура Fat Tree является практичной отправной точкой. Коммутаторы Leaf подключают вычислительные серверы, а коммутаторы Spine обеспечивают высокопроизводительную связь между стойками. Распределение восходящих каналов должно рассчитываться в соответствии с ожидаемыми шаблонами трафика, требуемой пропускной способностью бисекции и допустимым сверхподключением.

Эталонная топология сети

Приложения для обучения ИИ / HPC
NCCL / MPI / UCX / RDMA
↓
GPU-серверы и вычислительные узлы
Сетевые адаптеры NVIDIA ConnectX InfiniBand
↓
Уровень Leaf
Коммутаторы NVIDIA Quantum-2 QM9790 NDR
↓
Уровень Spine
Коммутаторы NVIDIA Quantum-2 QM9790 NDR
↓
Другие GPU-стойки / HPC-вычислительные узлы
Внешний менеджер подсети / NVIDIA UFM Fabric Management

В этой архитектуре вычислительные узлы используют сетевые адаптеры с поддержкой RDMA для доступа к сети InfiniBand. Уровень Leaf обеспечивает подключение к серверам, а уровень Spine поддерживает связь между различными сетевыми сегментами. Неблокирующая конструкция требует достаточной пропускной способности восходящих каналов относительно подключенных нисходящих каналов.

Крупные развертывания ИИ также могут распределять связь по нескольким независимым сетевым шинам для улучшения изоляции неисправностей и использования пропускной способности. Согласование шин, размещение адаптеров, привязка NUMA и топология GPU должны рассматриваться совместно, чтобы предотвратить снижение преимуществ высокоскоростной коммутации из-за ограничений на стороне хоста.

03. Роль и ключевые особенности NVIDIA Mellanox 920-9B210-00FN-0D0

Коммутатор 920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDR относится к семейству NVIDIA Quantum-2 QM9790. Это неуправляемая система коммутации InfiniBand, предназначенная для внешне управляемых сетей, поддерживающая плотное подключение и высокоскоростную связь между узлами с ускоренными вычислениями.

Следующие спецификации 920-9B210-00FN-0D0 обобщают характеристики продукта, относящиеся к сетевой архитектуре и выбору оборудования.

Оптимизация связи на основе RDMA

Remote Direct Memory Access позволяет участвующим системам передавать данные между зарегистрированными областями памяти, снижая накладные расходы на обработку ЦП. В средах ИИ и HPC эта возможность обеспечивает эффективную межсоединительную связь и может снизить затраты на передачу данных, связанные с программным обеспечением.

С совместимыми адаптерами NVIDIA ConnectX и правильно настроенным программным стеком приложения могут использовать транспорт RDMA через такие фреймворки, как UCX, MPI и NCCL. GPU Direct RDMA может дополнительно оптимизировать перемещение данных, если аппаратная платформа, драйверы и конфигурация приложения это поддерживают.

Адаптивная маршрутизация и управление перегрузками

NVIDIA Quantum-2 поддерживает механизмы адаптивной маршрутизации, которые могут распределять трафик по доступным сетевым путям. В сочетании с управлением перегрузками InfiniBand, возможностями качества обслуживания и управлением виртуальными каналами эти технологии помогают устранять горячие точки трафика и повышать стабильность связи.

Фактические преимущества зависят от топологии сети, политик маршрутизации, возможностей прошивки и конфигурации управления подсетью. Сетевые архитекторы должны проверять эти настройки при репрезентативном трафике приложений, а не полагаться исключительно на теоретическую пропускную способность коммутации.

NVIDIA SHARP In-Network Computing

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) позволяет обрабатывать поддерживаемые коллективные операции в пределах сети. Уменьшая объем данных, передаваемых во время поддерживаемых операций редукции, SHARP может повысить эффективность связи для выбранных рабочих нагрузок ИИ и HPC. Развертывание требует совместимой прошивки, компонентов управления и поддержки прикладного программного обеспечения.

04. Стратегия развертывания и расширение сети

Развертывание решения 920-9B210-00FN-0D0 InfiniBand switch OPN должно следовать структурированному процессу внедрения, охватывающему совместимость оборудования, планирование сети, проверку сети и будущие требования к мощности. Поэтапный подход снижает риски конфигурации и облегчает выявление проблем с производительностью.

Этап 1: Оборудование и физическая инфраструктура

• Подтвердите артикул коммутатора, устаревший OPN, размеры стойки, требования к источнику питания и направление воздушного потока P2C.
• Выберите совместимые адаптеры ConnectX, оптические модули OSFP, кабели DAC или активные оптические кабели в зависимости от скорости и расстояния соединения.
• Спланируйте прокладку кабелей, охлаждение стойки, резервирование питания и распределение физических портов.
• Проверьте поддерживаемые версии прошивки и совместимость оборудования перед производственным развертыванием.

Этап 2: Конфигурация и проверка сети

Поскольку QM9790 является неуправляемым коммутатором, для инициализации сети и настройки пути требуется внешний менеджер подсети InfiniBand. NVIDIA UFM может предоставлять дополнительные возможности управления сетью, мониторинга и эксплуатации при развертывании с поддерживаемыми компонентами.

Сетевые администраторы должны проверять состояния портов, согласованные скорости, обнаружение подсети, конфигурацию маршрутизации и сквозную связь RDMA. Где применимо, настройте секционирование, уровни обслуживания, виртуальные каналы, управление перегрузками и адаптивную маршрутизацию в соответствии с требованиями приложения.

Этап 3: Планирование масштабирования и мощностей

Расширение кластера должно учитывать коэффициент усиления коммутатора, доступную пропускную способность восходящих каналов, распределение трафика и количество сетевых уровней. Хотя QM9790 предоставляет 64 логических порта NDR, фактическое расположение физических интерфейсов и поддерживаемые конфигурации разветвления кабелей должны быть точно отражены в плане распределения портов.

Для более крупных развертываний могут быть добавлены дополнительные коммутаторы Leaf и Spine для размещения новых стоек серверов. Планы расширения должны учитывать резервирование, разделение сетевых шин, расстояния прокладки кабелей и поддержание требуемой пропускной способности между группами вычислений.

05. Эксплуатация, мониторинг и устранение неполадок

Надежная работа InfiniBand требует постоянной видимости состояния каналов, работоспособности сети, поведения перегрузок и производительности рабочих нагрузок. NVIDIA UFM и совместимые средства диагностики InfiniBand могут использоваться для мониторинга сетевых условий и выявления аномальных шаблонов связи.

Рекомендуемый операционный мониторинг включает:

• Состояние канала: Отслеживайте согласованные скорости, физические ошибки, перебои в работе каналов и события отключения портов.
• Использование пропускной способности: Отслеживайте переданный и полученный трафик для выявления сверхподключенных каналов.
• Индикаторы перегрузки: Проверяйте счетчики ожидания передачи, активность управления потоком и горячие точки трафика.
• Управление сетью: Проверяйте доступность менеджера подсети, согласованность маршрутизации, изменения топологии и обнаруженные устройства.
• Производительность приложений: Сопоставляйте сетевые измерения с метриками NCCL, MPI и рабочих нагрузок в производственной среде.

Для тестирования производительности на сетевом уровне инженеры могут использовать утилиты InfiniBand, такие как ibstat, ibdiagnet, perfquery, и средства производительности RDMA, такие как ib_write_bw и ib_send_lat. Тесты NVIDIA NCCL и бенчмарки MPI могут предоставить дополнительную информацию о производительности связи на уровне приложений.

При устранении проблем с производительностью сначала проверьте физическое подключение, затем скорость порта, счетчики ошибок, маршрутизацию сети и индикаторы перегрузки. Если сетевые метрики остаются в норме, проверьте пропускную способность PCIe на стороне хоста, размещение NUMA, привязку GPU, версии драйверов и настройки связи приложений.

Приемка производительности должна включать эффективную пропускную способность, задержку связи, пропускную способность коллективных операций и время завершения рабочей нагрузки. Измерения задержки P50, P95 и P99 могут помочь выявить вариативность производительности при постоянном или пиковом трафике. Пороговые значения приемки должны определяться на основе специфических для проекта целей обслуживания и измеренных базовых данных.

06. Ценность решения и оценка производительности

Коммутатор 920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDR обеспечивает пропускную способность сети и архитектуру, необходимые для требовательных распределенных вычислительных сред. Ее основная ценность заключается в обеспечении высокоскоростной связи, масштабируемого проектирования сети и эффективной интеграции с вычислительными системами с поддержкой RDMA.

С точки зрения инфраструктуры, подключение 400 Гбит/с NDR и высокая плотность портов могут снизить сетевые ограничения по мере увеличения размеров GPU-кластеров. Расширенные возможности InfiniBand поддерживают более эффективное распределение трафика, а внешнее управление сетью повышает операционную видимость и упрощает устранение неполадок.

Полная оценка ценности должна сравнивать затраты на развертывание с измеримыми улучшениями в пропускной способности приложений, использовании GPU, стабильности сети и операционной эффективности. Команды, оценивающие цену 920-9B210-00FN-0D0, также должны учитывать совместимые адаптеры, оптику, кабели, программное обеспечение для управления, электропитание и требования к поддержке.

Принцип технической оценки: Успех обновления сети InfiniBand должен определяться путем воспроизводимого бенчмаркинга и проверки рабочих нагрузок в производственной среде. Одна только пропускная способность коммутации не гарантирует фиксированного сокращения времени обучения или задержки приложений.

07. Заключение и дальнейшее развитие

Коммутатор NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand — это решение для высокоплотных сетей, предназначенное для обучения ИИ, приложений HPC и ускоренных сред центров обработки данных. Благодаря технологии NVIDIA Quantum-2, 64 портам NDR и общей двунаправленной пропускной способности до 51,2 Тбит/с он обеспечивает основу для создания масштабируемых вычислительных сетей с низкой задержкой.

Успешное развертывание требует большего, чем просто установка оборудования. Хорошо спроектированное решение должно координировать сетевую топологию, адаптеры с поддержкой RDMA, оптические соединения, конфигурацию менеджера подсети, настройку рабочей нагрузки и операционный мониторинг.

По мере расширения GPU-кластеров и увеличения интенсивности коммуникаций в распределенных рабочих нагрузках высокопроизводительные сети InfiniBand будут оставаться важным компонентом современной инфраструктуры ускоренных вычислений. QM9790 предоставляет практичный вариант для организаций, ищущих надежное подключение NDR и четкий путь к более крупным многостоечным сетевым архитектурам.

Техническая справка: Руководство пользователя систем коммутаторов InfiniBand NVIDIA QM97XX 1U NDR 400 Гбит/с. Окончательные спецификации развертывания, поддерживаемые функции, совместимость прошивки и физические конфигурации следует проверять в документации для конкретного артикула продукта.

Решения NVIDIA Mellanox для сетей InfiniBand

Компания Beijing Zhongke Xinyuan Technology Co., Ltd. предоставляет аппаратное обеспечение для сетей NVIDIA Mellanox и поддержку решений для центров обработки данных ИИ, GPU-кластеров, систем HPC и корпоративной инфраструктуры. Наш портфель продуктов включает коммутаторы NVIDIA Quantum InfiniBand, сетевые адаптеры ConnectX, оптические трансиверы и высокоскоростные кабели DAC/AOC.

Для клиентов, ищущих совместимые с 920-9B210-00FN-0D0 сетевые компоненты, поддержку выбора продукта, информацию о наличии или коммерческие предложения по проектам, наша команда может помочь с идентификацией модели, подбором конфигурации и планированием закупок.