Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Техническая белая книга: оптимизация межсоединений с низкой задержкой

Этот технический документ предназначен для сетевых архитекторов, инженеров по предпродажной подготовке и менеджеров по эксплуатации, предлагая комплексное решение, ориентированное на коммутатор Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand. Мы рассмотрим, как эта платформа обеспечивает детерминированную сверхнизкую задержку для рабочих нагрузок, интенсивно использующих RDMA, в средах кластеров HPC и AI.

Современные фреймворки для обучения ИИ (PyTorch DDP, DeepSpeed, Megatron) и коды симуляции HPC (CFD, моделирование погоды, молекулярная динамика) в значительной степени полагаются на примитивы коллективной связи. Традиционные сети Ethernet создают три фундаментальные проблемы: потерю пакетов из-за перегрузки при инкасте, переменную задержку от коммутации с сохранением и пересылкой, а также высокую нагрузку на ЦП из-за обработки стека TCP/IP. Эти проблемы приводят к простоям ГП на 30–50% при крупномасштабном распределенном обучении, что напрямую ведет к увеличению времени решения задачи и росту эксплуатационных расходов.

Коммутатор 920-9B110-00FH-0D0 решает эти проблемы благодаря собственной технологии InfiniBand, предлагая аппаратную поддержку RDMA, сквозную коммутацию и управление потоком на основе кредитов. Целевые сценарии использования включают лаборатории исследований ИИ, управляющие кластерами из 64–1024 ГП, центры HPC, требующие задержки MPI менее микросекунды, и облачных провайдеров, создающих семейства экземпляров ИИ bare-metal.

Наша рекомендуемая архитектура использует двухуровневую топологию fat-tree (сложенный Clos), которая обеспечивает баланс между пропускной способностью бисекции, стоимостью и масштабируемостью. Параметры проектирования предполагают до 512 вычислительных узлов, каждый из которых оснащен двухпортовыми адаптерами ConnectX-6 HDR.

Эта конфигурация обеспечивает полную пропускную способность бисекции 200 Гбит/с на узел, неблокирующую производительность для шаблонов связи «все со всеми» и задержку до 130 нс на хоп (сквозная). Решение 920-9B110-00FH-0D0 InfiniBand switch OPN поддерживает как стандартные, так и пользовательские SKU, позволяя гибко настраивать разделение портов (например, 4x 50 Гбит/с на порт HDR).

В предложенной архитектуре NVIDIA Mellanox 920-9B110-00FH-0D0 выступает в качестве унифицированного элемента фабрики на обоих уровнях — leaf и spine. Ключевые технические отличия включают:

• Аппаратная поддержка RDMA: Обходит ядро и ЦП полностью, обеспечивая передачу данных из памяти в память с линейной скоростью и задержкой <1 мкс.
• Адаптивная маршрутизация (AR): Динамически перенаправляет пакеты на основе текущей перегрузки портов, распределяя трафик по всем доступным путям без изменения порядка пакетов.
• Управление перегрузкой: Аппаратные механизмы уведомления и ограничения предотвращают блокировку «первого в очереди», как подробно описано в техническое описание 920-9B110-00FH-0D0.
• Точная телеметрия: Встроенные аппаратные мониторы предоставляют данные о загрузке буфера, задержке и счетчиках ошибок для каждого порта для проактивного управления.

Инженеры, оценивающие закупки, должны ознакомиться с полными техническими характеристиками 920-9B110-00FH-0D0, которые подтверждают поддержку до 40 портов HDR (по 200 Гбит/с каждый) в форм-факторе 1U с энергопотреблением менее 300 Вт в типичном режиме. Совместимая экосистема 920-9B110-00FH-0D0 включает все стандартные оптические модули HDR (QSFP56) и пассивные медные кабели длиной до 5 метров.

Для первоначального развертывания мы рекомендуем поэтапный подход:

• Этап 1 (Пилот – 32 узла): Разверните 1 коммутатор leaf (920-9B110-00FH-0D0) в конфигурации с одним коммутатором. Проверьте производительность RDMA с помощью ib_write_bw и бенчмарков MPI. Обратитесь к статусу 920-9B110-00FH-0D0 для продажи, чтобы убедиться, что сроки поставки соответствуют этапам проекта.
• Этап 2 (Производство – 128 узлов): Реализуйте полную fat-tree с 4 коммутаторами leaf и 2 коммутаторами spine. Включите адаптивную маршрутизацию и управление перегрузкой. Проведите расширенные стресс-тесты с помощью тестов NCCL (all-reduce, all-gather).
• Этап 3 (Масштабирование – 512+ узлов): Расширьте до 16 коммутаторов leaf и 8 коммутаторов spine. Рассмотрите возможность перехода на архитектуру с несколькими фабриками (отдельные сети для вычислений/хранения данных). Оцените цены 920-9B110-00FH-0D0 за порт по сравнению с добавлением большего количества коммутаторов или моделей с более высокой степенью разветвления.

При расчете общей стоимости владения обратите внимание, что 920-9B110-00FH-0D0 устраняет необходимость в отдельных коммутаторах TOR, сложности настройки ECN (в отличие от RoCE) и лицензиях на проприетарное управление перегрузкой — все это включено нативно в InfiniBand.

Эксплуатационное управление сетями NVIDIA Mellanox 920-9B110-00FH-0D0 опирается на два основных инструмента: OpenSM (менеджер подсети) для базового запуска сети и NVIDIA UFM (Unified Fabric Manager) для телеметрии и автоматизации корпоративного масштаба.

• Ежедневные проверки состояния: Используйте `ibnetdiscover` для проверки топологии сети, `ibstat` для мониторинга состояния портов и `perfquery` для отслеживания счетчиков ошибок.
• Настройка производительности: Установите адаптивную маршрутизацию в «статическую» для детерминированной задержки или «динамическую» для максимальной пропускной способности. Настройте сопоставление SL2VL для приоритезации трафика управления по сравнению с данными.
• Устранение распространенных неполадок: Ошибки CRC на линии обычно указывают на проблемы с целостностью кабеля/сигнала — обратитесь к техническое описание 920-9B110-00FH-0D0 для получения информации о допустимых SKU кабелей. Тайм-ауты менеджера подсети часто требуют корректировки `max_hop_count` для больших сетей.
• Планирование мощностей: Используйте предиктивную аналитику UFM для прогнозирования загрузки портов и выявления «горячих точек» до того, как они повлияют на задания. Решение 920-9B110-00FH-0D0 InfiniBand switch OPN позволяет гибко обновлять оптику в полевых условиях для адаптации к меняющимся требованиям к пропускной способности.

Для организаций, оценивающих нескольких поставщиков, сравнение цены 920-9B110-00FH-0D0 с альтернативными коммутаторами HDR должно учитывать простоту эксплуатации — единый стек от одного поставщика и вертикально интегрированный стек InfiniBand сокращает время отладки между командами примерно на 40%.

Коммутатор Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 представляет собой готовое к эксплуатации решение для кластеров RDMA/HPC/AI, требующих детерминированной низколатентной связи. Ключевые ценностные предложения включают:

• Производительность: До 200 Гбит/с на порт с задержкой коммутации менее 130 нс, обеспечивающей линейное масштабирование ГП до тысяч узлов.
• Операционная эффективность: Собственные аппаратные разгрузки устраняют вмешательство ЦП для сетевого ввода-вывода, освобождая ядра для вычислений.
• Защита от будущих изменений: Обратная совместимость с EDR (100 Гбит/с) и прямая совместимость с NDR (400 Гбит/с) за счет преобразования скорости портов.
• Общая стоимость владения: При расчете цены 920-9B110-00FH-0D0 по сравнению с альтернативами на базе Ethernet, учитывайте экономию от сокращения времени простоя ГП (обычно восстанавливается на 15–25%) и исключение лицензий на проприетарное управление перегрузкой.

Архитекторам рекомендуется загрузить полное техническое описание 920-9B110-00FH-0D0 и ознакомиться с официальными техническими характеристиками 920-9B110-00FH-0D0 для получения матриц кабелей и расчета энергопотребления. Для производственных развертываний проверьте наличие 920-9B110-00FH-0D0 для продажи через партнерскую сеть NVIDIA и запросите валидационную лабораторию для тестирования пользовательских топологий.