NVIDIA Mellanox 920-9B110-00FH-0D0 Техническая ссылка: Оптимизированная низкозадержная взаимосвязь для RDMA / HPC / AI

Техническое руководство NVIDIA Mellanox 920-9B110-00FH-0D0: Оптимизированный низколатентный интерконнект для кластеров RDMA/HPC/AI со скоростью 200 Гбит/с HDR

1. Предпосылки проекта и анализ требований

По мере масштабирования кластеров HPC и AI распределенное обучение и научные симуляции предъявляют все более строгие требования к пропускной способности сети, задержке и масштабируемости. Однако не каждому кластеру нужна инфраструктура NDR со скоростью 400 Гбит/с — значительное число производственных сред уже стандартизировано на HDR со скоростью 200 Гбит/с и стремится к повышению производительности в рамках контролируемого бюджета. Типичные требования включают:

• Детерминированная низкая задержка: Коллективные коммуникации MPI должны поддерживать задержку от порта до порта менее микросекунды, предотвращая влияние задержки хвоста на сходимость обучения.
• Без потерь в сети: Нулевые потери пакетов при перегрузке для обеспечения эффективности RDMA и предотвращения коллапса производительности.
• Выгрузка вычислений в сети: Выгрузка коллективных операций, таких как All-Reduce, в сетевую среду для освобождения ресурсов ЦП/ГП хоста.
• Плавная масштабируемость: Поддержка неблокирующего расширения от сотен до тысяч узлов с совместимостью с существующими кабелями HDR и оптическими трансиверами.

Для удовлетворения этих требований в данном решении используется NVIDIA Mellanox 920-9B110-00FH-0D0 в качестве основного строительного блока — коммутатор InfiniBand со скоростью 200 Гбит/с HDR, который обеспечивает баланс между производительностью, плотностью и экономической эффективностью для развертываний среднего и крупного масштаба.

2. Общая архитектура сети

Предлагаемое решение использует двухуровневую топологию leaf-spine, которая обеспечивает масштабируемую, неблокирующую сеть с предсказуемой задержкой и упрощенной прокладкой кабелей. На уровне leaf каждый вычислительный стойка оснащен одним 920-9B110-00FH-0D0 InfiniBand switch OPN (Ordering Part Number), предлагающим 40 портов со скоростью 200 Гбит/с HDR для подключения к серверам GPU через медные кабели прямого подключения (DAC) или активные оптические кабели (AOC) OSFP-to-OSFP. На уровне spine второй уровень коммутаторов MQM8790-HS2F — кремниевая платформа, лежащая в основе 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR— соединяет все коммутаторы leaf, создавая сеть fat-tree с полной пропускной способностью бисекции.

Для более крупных кластеров, превышающих 1500 узлов, может быть реализована трехуровневая топология folded-Clos, где 920-9B110-00FH-0D0 выступает как в роли leaf, так и в роли spine для поддержания стабильной производительности на всех уровнях. Следующая таблица обобщает ключевые параметры масштабирования для двухуровневой сети HDR, построенной на основе этого коммутатора:

3. Роль и ключевые особенности NVIDIA Mellanox 920-9B110-00FH-0D0

В рамках этой архитектуры NVIDIA Mellanox 920-9B110-00FH-0D0 служит основополагающим коммутирующим элементом, предоставляя несколько критически важных возможностей:

• 40 портов 200 Гбит/с HDR: Каждый порт OSFP поддерживает двунаправленную скорость 200 Гбит/с с прямой коррекцией ошибок (FEC) для надежной связи на увеличенном расстоянии.
• Интегрированный SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol): Выгружает коллективные операции связи, снижая задержку MPI All-Reduce до 30% в типичных рабочих нагрузках HPC.
• Адаптивная маршрутизация и управление перегрузкой: Динамически перенаправляет трафик для избежания горячих точек, обеспечивая предсказуемую производительность при неблагоприятных схемах трафика.
• Расширенная телеметрия: Счетчики для каждого потока и каждого порта, а также мониторинг заполнения буфера обеспечивают глубокую видимость состояния сети.

Согласно техническим описанием 920-9B110-00FH-0D0, коммутатор обеспечивает задержку переключения менее 200 нс и поддерживает совокупную коммутационную способность до 8,0 Тбит/с. Спецификации 920-9B110-00FH-0D0 также подчеркивают наличие двух резервных блоков питания и модулей вентиляторов с возможностью горячей замены, обеспечивая доступность 99,999% для критически важных рабочих нагрузок.

4. Рекомендации по развертыванию и масштабированию

Для организаций, планирующих внедрить решение 920-9B110-00FH-0D0 InfiniBand switch OPN, рекомендуются следующие руководства по развертыванию:

• Стратегия кабельного подключения: Используйте кабели DAC OSFP-to-OSFP для внутристоечных соединений (до 3 м) и AOC или оптические трансиверы для межстоечных и spine-leaf соединений (до 100 м). Убедитесь, что все кабели совместимы с 920-9B110-00FH-0D0 согласно матрице совместимости NVIDIA.
• Резервирование: Разверните два блока питания, подключенных к отдельным PDU. Используйте как минимум два коммутатора spine на каждый leaf для устранения единых точек отказа.
• Управление прошивкой: Убедитесь, что все коммутаторы работают под одинаковыми версиями прошивки NVIDIA. Используйте функцию автоматического обновления прошивки UFM для поэтапного обновления без простоя.
• Путь масштабирования: Для кластеров, превышающих 1600 узлов, переходите на трехуровневую топологию folded-Clos или используйте dragonfly+ с адаптивной маршрутизацией. 920-9B110-00FH-0D0 поддерживает до 64 коммутаторов в одной сети под одним менеджером подсети.

При расчете общей стоимости владения учитывайте уменьшенное количество уровней коммутации и упрощенную прокладку кабелей по сравнению с альтернативами с меньшим радиусом. Хотя цена 920-9B110-00FH-0D0 за единицу выше, чем у коммутаторов EDR (100 Гбит/с), стоимость за порт значительно ниже, чем у NDR, что делает его оптимальным выбором для экономически эффективных развертываний HDR.

5. Эксплуатация, мониторинг и устранение неполадок

Эффективное управление сетью HDR требует комплексной системы мониторинга и устранения неполадок. NVIDIA Unified Fabric Manager (UFM) предоставляет единую панель управления для всей NVIDIA Mellanox 920-9B110-00FH-0D0, предлагая:

• Визуализация топологии: Автоматическое обнаружение и графическое представление всех коммутаторов, каналов и конечных точек.
• Панели мониторинга производительности: Отображение в реальном времени загрузки портов, частоты ошибок и индикаторов перегрузки.
• Проактивное оповещение: Сигнализация на основе пороговых значений для деградации каналов, аномалий температуры и сбоев блоков питания.
• Изоляция неисправностей: Руководства по устранению неполадок, которые идентифицируют неисправные кабели, трансиверы или порты коммутатора.

Для расширенного устранения неполадок используйте встроенные диагностические инструменты коммутатора, включая тесты обратной петли и анализ BER (коэффициент битовых ошибок), для проверки целостности канала перед развертыванием рабочих нагрузок. Распространенные проблемы, возникающие на ранних этапах развертывания, включают неоптимальную маршрутизацию, вызванную неравными скоростями каналов или несовместимыми типами кабелей. Включение адаптивной маршрутизации и проверка того, что все каналы работают на скорости 200 Гбит/с (с включенным FEC), решают большинство аномалий производительности. 920-9B110-00FH-0D0 InfiniBand switch OPN также поддерживает резервные конфигурации менеджера подсети, обеспечивая переконфигурацию сети без ручного вмешательства в случае сбоя узла управления.

6. Резюме и оценка ценности

920-9B110-00FH-0D0 предлагает привлекательное ценностное предложение для организаций, создающих или расширяющих кластеры HPC и AI на базе HDR. Он обеспечивает 40 портов 200 Гбит/с HDR с задержкой менее 200 нс, выгрузкой SHARPv2 и управляемостью корпоративного уровня — все это в экономичной платформе 1U. Ключевые преимущества включают:

• Производительность: Сокращение времени завершения заданий на 35% для рабочих нагрузок с интенсивными коммуникациями за счет выгрузки SHARPv2 и адаптивной маршрутизации.
• Экономическая эффективность: Более низкая совокупная стоимость владения по сравнению с альтернативами NDR, с оптимизированной стоимостью за порт для развертываний масштаба HDR.
• Операционная простота: Глубокая интеграция с UFM для унифицированного управления, проактивного мониторинга и автоматического переключения при сбоях.
• Защита инвестиций: Полная совместимость с существующими кабелями HDR, оптикой и программными стеками, позволяющая поэтапно обновляться без прерывания производства.

Для организаций, оценивающих 920-9B110-00FH-0D0 для продажи через партнерских каналов NVIDIA, мы рекомендуем ознакомиться с подробным техническим описанием 920-9B110-00FH-0D0 и обратиться к сертифицированному архитектору решений для проверки дизайна с учетом ваших конкретных рабочих нагрузок и требований к масштабу. NVIDIA Mellanox 920-9B110-00FH-0D0 готов к производственному использованию сегодня, предлагая сбалансированную, высокопроизводительную интерконнектную основу для следующего поколения инноваций в области HPC и AI.