NVIDIA Mellanox 920-9B210-00FN-0D0 Техническое описание: Оптимизация низколатентного межсоединения 400 Гбит/с NDR

Техническое описание NVIDIA Mellanox 920-9B210-00FN-0D0: Оптимизация низколатентного межсоединения 400 Гбит/с NDR для кластеров RDMA/HPC/AI

1. Предыстория проекта и анализ требований

По мере масштабирования кластеров обучения ИИ от тысяч до десятков тысяч графических процессоров, а симуляции HPC приближаются к производительности Exascale, сетевые межсоединения сталкиваются с беспрецедентными требованиями к пропускной способности, задержке и детерминизму. Переход от 200 Гбит/с HDR к 400 Гбит/с NDR больше не является опцией — это стратегическая необходимость для организаций, развертывающих модели с триллионом параметров и параллельные вычисления экстремального масштаба. В различных ведущих средах развертывания основные требования можно обобщить следующим образом:

• Детерминированная сверхнизкая задержка: MPI и коллективные операции типа «все-ко-всем» должны поддерживать задержку от порта до порта менее 100 нс, чтобы минимизировать влияние накладных расходов на связь на сходимость обучения.
• Без потерь на масштабе: Нулевые потери пакетов на тысячах конечных точек, гарантирующие, что производительность RDMA не снижается при перегрузке.
• Выгрузка вычислений в сети: Выгрузка коллективных операций (all-reduce, all-to-all, broadcast) на коммутационную фабрику для освобождения ресурсов ЦП/ГП хоста.
• Масштабируемость с высоким коэффициентом ветвления: Поддержка топологий fat-tree и dragonfly+ с полной пропускной способностью бисекции при 8000+ узлах.
• Защита инвестиций: Бесшовная совместимость с существующими кабелями, оптикой и инструментами управления HDR для поэтапных обновлений.

Для удовлетворения этих требований данное решение использует NVIDIA Mellanox 920-9B210-00FN-0D0 в качестве основного строительного блока — коммутатор InfiniBand 400 Гбит/с NDR, специально разработанный для развертываний класса Exascale.

2. Общая архитектура сети

Предлагаемое решение использует двухуровневую топологию leaf-spine, обеспечивающую масштабируемую, неблокирующую фабрику с детерминированной задержкой и упрощенной кабельной системой. На уровне leaf каждый вычислительный стойка оснащен одним или двумя блоками 920-9B210-00FN-0D0 InfiniBand switch OPN, обеспечивающими 64 порта подключения 400 Гбит/с NDR к серверам GPU через OSFP direct-attach copper (DAC) или активные оптические кабели (AOC). На уровне spine второй уровень коммутаторов 920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDR соединяет все коммутаторы leaf, создавая фабрику fat-tree с полной пропускной способностью бисекции.

Для кластеров, превышающих 5000 узлов, может быть реализована трехуровневая архитектура folded-Clos, где 920-9B210-00FN-0D0 выступает в качестве leaf и spine для поддержания стабильной производительности на всех уровнях. Коммутатор поддерживает до 64 коммутаторов в одной фабрике под одним менеджером подсети, обеспечивая унифицированное управление крупномасштабными топологиями.

Следующая таблица обобщает ключевые параметры масштабирования для двухуровневой фабрики NDR, построенной на основе 920-9B210-00FN-0D0:

3. Роль и ключевые особенности NVIDIA Mellanox 920-9B210-00FN-0D0

В рамках этой архитектуры NVIDIA Mellanox 920-9B210-00FN-0D0 служит основополагающим коммутирующим элементом, предоставляя несколько критически важных возможностей, которые напрямую отвечают требованиям, определенным в разделе 1:

• 64 порта 400 Гбит/с NDR: Каждый порт OSFP поддерживает двунаправленную скорость 400 Гбит/с с коррекцией ошибок прямой коррекции (FEC) для надежного подключения на увеличенное расстояние. Общая коммутационная способность 51,2 Тбит/с обеспечивает достаточный запас даже для самых требовательных к коммуникациям рабочих нагрузок.
• Сверхнизкая задержка при сквозной передаче: Задержка от порта до порта менее 100 нс, как указано в техническим описанием 920-9B210-00FN-0D0, обеспечивает минимальные накладные расходы для операций MPI и RDMA.
• Интегрированный SHARPv3: Выгружает коллективные операции с ЦП хоста, сокращая задержку all-reduce до 40% и all-to-all до 35% в крупномасштабных задачах.
• Адаптивная маршрутизация и управление перегрузкой: Динамически перенаправляет трафик для избежания «горячих точек», поддерживая предсказуемую производительность при неблагоприятных схемах трафика. Расширенная телеметрия обеспечивает видимость по потокам и портам для проактивного управления.
• Комплексное управление: Полная интеграция с Unified Fabric Manager (UFM) от NVIDIA для нулевого развертывания, мониторинга состояния и автоматического переключения при сбоях.

спецификаций 920-9B210-00FN-0D0 также подчеркивают наличие двух резервных блоков питания, модулей вентиляторов с возможностью горячей замены и поддержку конфигураций резервных менеджеров подсети, обеспечивая доступность 99,999% для критически важных рабочих нагрузок.

4. Рекомендации по развертыванию и масштабированию

Для организаций, планирующих использовать решение 920-9B210-00FN-0D0 InfiniBand switch OPN, рекомендуются следующие руководства по развертыванию:

• Стратегия кабельной системы: Используйте кабели DAC OSFP-to-OSFP для внутристоечных соединений (до 3 м) и AOC или оптические трансиверы для межстоечных и spine-leaf соединений (до 100 м). Убедитесь, что все кабели совместимы с 920-9B210-00FN-0D0 согласно матрице совместимости NVIDIA, чтобы избежать проблем с целостностью сигнала.
• Резервирование: Разверните два блока питания, подключенных к отдельным PDU. Используйте как минимум два коммутатора spine на leaf для устранения единых точек отказа. Для критически важных рабочих нагрузок рассмотрите резервирование N+1 на уровне spine.
• Управление прошивкой: Убедитесь, что все коммутаторы работают под одинаковыми версиями прошивки NVIDIA. Используйте функцию автоматического обновления прошивки UFM для поэтапных обновлений без простоя. Перед развертыванием проверьте совместимость прошивки с хост-адаптерами и кабелями.
• Путь масштабирования: Для кластеров, превышающих 4096 узлов, переходите на трехуровневую топологию folded-Clos или используйте dragonfly+ с адаптивной маршрутизацией. 920-9B210-00FN-0D0 поддерживает до 64 коммутаторов в одной фабрике, с несколькими фабриками, соединенными через шлюзы для более крупных развертываний.
• Проверка производительности: Перед производственным развертыванием проведите комплексные стресс-тесты с использованием эталонных тестов производительности OpenFabrics Enterprise Distribution (OFED), чтобы проверить производительность фабрики в соответствии с техническим описанием 920-9B210-00FN-0D0.

При расчете общей стоимости владения учитывайте уменьшенное количество уровней коммутации и упрощенную кабельную систему по сравнению с альтернативами с более низким коэффициентом ветвления. Хотя цена 920-9B210-00FN-0D0 за единицу выше, чем у коммутаторов HDR, стоимость за порт и стоимость сетевого подключения на GPU значительно ниже в крупномасштабных развертываниях, что делает его экономически эффективным выбором для проектов Exascale.

5. Эксплуатация, мониторинг и устранение неполадок

Эффективное управление фабрикой NDR требует комплексной системы мониторинга и устранения неполадок. UFM от NVIDIA предоставляет единую панель управления для всей NVIDIA Mellanox 920-9B210-00FN-0D0, предлагая:

• Визуализация топологии: Автоматическое обнаружение и графическое представление всех коммутаторов, каналов и конечных точек с обновлениями состояния в реальном времени.
• Панели мониторинга производительности: Представления в реальном времени об использовании портов, частоте ошибок, индикаторах перегрузки и заполнении буферов по всей фабрике.
• Проактивное оповещение: Сигнализация на основе пороговых значений о деградации канала, аномалиях температуры, сбоях питания и износе кабелей.
• Изоляция неисправностей: Руководства по устранению неполадок, которые выявляют неисправные кабели, трансиверы или порты коммутатора, сокращая среднее время восстановления (MTTR).
• Историческая аналитика: Анализ тенденций и планирование мощностей на основе исторических данных о производительности, позволяющие принимать проактивные решения о масштабировании.

Для расширенного устранения неполадок используйте встроенные диагностические инструменты коммутатора, включая тесты обратной петли, анализ BER (частоты битовых ошибок) и мониторинг диагностики оптических модулей (DOM). Распространенные проблемы, возникающие на ранних этапах развертывания NDR, включают субоптимальную маршрутизацию, вызванную неравными скоростями каналов, несовпадающими типами кабелей или несоответствием прошивок. Включение адаптивной маршрутизации, проверка того, что все каналы работают на скорости 400 Гбит/с с включенным FEC, и обеспечение единообразной прошивки на всех коммутаторах устраняют большинство аномалий производительности.

Сетевые инженеры также должны установить базовый уровень спецификаций 920-9B210-00FN-0D0 во время фазы валидации, включая ожидаемую задержку, пропускную способность и частоту ошибок. Отклонения от этого базового уровня могут использоваться как ранние индикаторы потенциальных проблем. 920-9B210-00FN-0D0 InfiniBand switch OPN также поддерживает комплексное ведение журнала событий через syslog и SNMP, что позволяет интегрировать его с существующими стеками мониторинга дата-центров.

6. Резюме и оценка ценности

920-9B210-00FN-0D0 предлагает убедительное ценностное предложение для организаций, создающих или расширяющих кластеры HPC и AI на базе NDR. Он обеспечивает 64 порта 400 Гбит/с NDR со сверхнизкой задержкой менее 100 нс, выгрузку SHARPv3, управление корпоративного класса и полную совместимость с существующей экосистемой HDR — все это в компактной платформе 1U. Ключевые преимущества включают:

• Производительность: Сокращение задержки коллективных операций «все-ко-всем» до 75% и задержки all-reduce до 40% за счет выгрузки SHARPv3 и пропускной способности NDR.
• Экономическая эффективность: Более низкая стоимость сетевого подключения на GPU по сравнению с альтернативами HDR в крупномасштабных развертываниях, обусловленная более высоким коэффициентом ветвления и уменьшенным количеством уровней коммутации.
• Операционная простота: Глубокая интеграция с UFM для унифицированного управления, автоматизированного развертывания, проактивного мониторинга и быстрого устранения неисправностей.
• Защита инвестиций: Полная совместимость с существующими кабелями, оптикой и программными стеками HDR, позволяющая поэтапно обновляться без прерывания производственных рабочих нагрузок.
• Будущая масштабируемость: Поддержка трехуровневых топологий folded-Clos и dragonfly+, гарантирующая масштабирование фабрики до 8000+ узлов по мере роста потребностей в вычислениях.

Для организаций, оценивающих 920-9B210-00FN-0D0 для продажи через партнеров NVIDIA, мы рекомендуем ознакомиться с подробным техническим описанием 920-9B210-00FN-0D0 и обратиться к сертифицированному архитектору решений для проверки дизайна с учетом ваших конкретных рабочих нагрузок и требований к масштабу. NVIDIA Mellanox 920-9B210-00FN-0D0 готов к производству уже сегодня, предлагая высокопроизводительную, масштабируемую основу межсоединений для следующего поколения инноваций в области ИИ и HPC.