NVIDIA Mellanox 920-9B210-00FN-0D0 Техническое описание: Оптимизация низколатентного межсоединения 400 Гбит/с NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 Техническая ссылка: 400Gb/s NDR низкозадержная оптимизация взаимосвязей для кластеров RDMA/HPC/AI

1. Анализ контекста и требований проекта

Поскольку кластеры обучения ИИ выходят за рамки 4000 графических процессоров, а симуляции HPC приближаются к экзамасштабной производительности, сетевые ткани сталкиваются с беспрецедентными требованиями к пропускной способности, задержке и детерминизму.Переход от 200 Гбит/с HDR к 400 Гбит/с NDR больше не является необязательным для организаций, нацеленных на модели с триллионами параметров или моделирование погоды в километровом масштабе.Ключевые требования, выявленные в ведущих исследовательских и корпоративных проектах, включают:

• Ультра-низкая детерминированная задержка:Спустя 100 нс. от порта до порта, чтобы минимизировать MPI и расходы на общение.
• Ткань без потерь в масштабе:Ноль пакетов падает при перегрузке на тысячи конечных точек, обеспечивая предсказуемость производительности RDMA.
• Вычислительная нагрузка в сети:Выгрузка коллективных операций (все-уменьшение, все-все-все, трансляция) в сетевую структуру для максимизации использования GPU.
• Высокая масштабируемость радикса:Поддержка крупномасштабных топологий Fat-tree и Dragonfly+ с полной полосой пропускания до 8000+ узлов.
• Защита инвестиций:Бесшовная совместимость с существующими кабелями HDR, оптикой и инструментами управления для обеспечения поэтапного обновления.

Для удовлетворения этих потребностей это решение используетNVIDIA Mellanox 920-9B210-00FN-0D0в качестве основного строительного блока 400Gb/s NDR InfiniBand switch, который обеспечивает плотность, производительность и интеллект, необходимые для развертывания экса-класса.

2. Общий дизайн сетевой архитектуры

Предлагаемое решение использует двухуровневую топологию листового позвоночника, которая обеспечивает масштабируемую, не блокирующую ткань с детерминированной задержкой и упрощенным кабелем.каждая вычислительная стойка оснащена одной или двумя920-9B210-00FN-0D0 InfiniBand переключатель OPNУстройства, предлагающие 64 порта 400Gb/s NDR подключения к серверам GPU через OSFP-OSFP прямые присоединения медные (DAC) или активные оптические кабели (AOC).920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDRпереключатели соединяет все переключатели листьев, создавая полную двустороннюю полосу пропускания ткани жирового дерева.

Для кластеров, превышающих 5000 узлов, может быть реализована трехуровневая архитектура с закрытым складом,с 920-9B210-00FN-0D0, служащим как листом, так и позвоночником для поддержания постоянной производительности на всех уровнях. коммутатор поддерживает до 64 коммутаторов в одной ткани под одним менеджером подсети, что позволяет единообразно управлять крупномасштабными топологиями.

В следующей таблице обобщены ключевые параметры масштабирования для двухуровневой ткани NDR, построенной вокруг 920-9B210-00FN-0D0:

3. Роль и ключевые особенности NVIDIA Mellanox 920-9B210-00FN-0D0

В рамках этой архитектурыNVIDIA Mellanox 920-9B210-00FN-0D0служит основополагающим элементом переключения, обеспечивая несколько критических возможностей, которые напрямую отвечают требованиям, указанным в разделе 1:

• 64 порта 400 Гбит/с NDR:Каждый порт OSFP поддерживает двунаправленный 400Gb / s с коррекцией ошибок вперед (FEC) для надежной расширенной связи.2 Тб/с обеспечивают большое пространство для работы даже для наиболее интенсивных коммуникаций.
• Ультра-низкая задержка пересечения:Сроки задержки под 100 нс от порта к порту, как задокументировано в920-9B210-00FN-0D0 лист данных, обеспечивает минимальные накладные расходы на операции MPI и RDMA.
• Интегрированный SHARPv3 (протокол масштабируемой иерархической агрегации и редукции):Отгружает коллективные операции от хост-CPU, уменьшая задержку до 40% и до 35% в крупномасштабных работах.
• Адаптивное маршрутизация и управление перегрузкой:Динамически перенаправляет трафик, чтобы избежать горячих точек, обеспечивая предсказуемую производительность при противоречивых моделях трафика.Усовершенствованная телеметрия обеспечивает прозрачность по потоку и по порту для проактивного управления.
• Общая управляемость:Полная интеграция с Unified Fabric Manager (UFM) от NVIDIA для нулевого доступа, мониторинга состояния и автоматизированного перехода.

ВСпецификации 920-9B210-00FN-0D0также подчеркивают двойные избыточные источники питания, модули вентиляторов, которые могут быть заменены в горячем состоянии, и поддержку избыточных конфигураций менеджеров подсетей, обеспечивающих 99,999% доступности для критически важных рабочих нагрузок.

4. Рекомендации по развертыванию и масштабируемости

Для организаций, планирующих принять920-9B210-00FN-0D0 InfiniBand Switch OPN решение, рекомендуются следующие руководящие принципы применения:

• Стратегия кабелирования:Используйте кабели OSFP-OSFP DAC для внутрираковых соединений (до 3 м) и AOC или оптические приемопередатчики для межраковых и спиннолистных соединений (до 100 м).920-9B210-00FN-0D0 совместимыпо матрице совместимости NVIDIA, чтобы избежать проблем с целостностью сигнала.
• Отставка:Используйте по крайней мере два переключателя на лист, чтобы исключить отдельные точки отказа.рассмотреть N + 1 избыточность на уровне позвоночника.
• Управление прошивкой:Убедитесь, что все переключатели работают с идентичными версиями прошивки NVIDIA. Используйте функцию автоматического обновления прошивки UFM для регулярных обновлений без простоев.Подтвердить совместимость прошивки с адаптерами хоста и кабелями перед развертыванием.
• Путь масштабирования:Для кластеров свыше 4 096 узлов переход на трехуровневую топологию с складной закрытой топологией или с использованием Dragonfly+ с адаптивным маршрутизацией.с несколькими тканями, взаимосвязанными через шлюзы для более крупных развертываний.
• Проверка эффективности:Перед началом производства выполните комплексные стресс-тесты с использованием таких инструментов, как эталонные показатели производительности OpenFabrics Enterprise Distribution (OFED), чтобы подтвердить производительность ткани по сравнению с920-9B210-00FN-0D0 лист данныхспецификации.

При расчете общей стоимости владения учитывайте сокращенное количество уровней переключателей и упрощенное кабелирование по сравнению с альтернативами с более низким радиксом.920-9B210-00FN-0D0 ценастоимость сети на порт и на GPU значительно ниже в крупномасштабных развертываниях, что делает его экономически эффективным выбором для эксамасштабных проектов.

5. Операции, мониторинг и устранение неполадок

Эффективное управление NDR тканей требует комплексного мониторинга и системы устранения неполадок.NVIDIA Mellanox 920-9B210-00FN-0D0- на основе тканей, предлагающие:

• Визуализация топологии:Автоматическое обнаружение и графическое представление всех коммутаторов, ссылок и конечных точек с обновлениями состояния в режиме реального времени.
• Приборные панели производительности:В режиме реального времени просматривается использование портов, уровень ошибок, показатели перегрузки и занятость буфера по всей структуре.
• Проактивное оповещение:Тревожные сигналы для нарушения связи, температурных аномалий, сбоев питания и износа кабеля.
• Ошибка изоляции:Руководствуемые рабочие процессы устранения неполадок, которые идентифицируют неисправные кабели, приемопередатчики или порты коммутаторов, сокращая среднее время до разрешения (MTTR).
• Исторические анализы:Анализ тенденций и планирование мощностей на основе исторических данных о производительности, что позволяет принимать проактивные решения по масштабированию.

Для усовершенствованного устранения неполадок используйте встроенные в коммутатор диагностические инструменты, включая повторные тесты, анализ BER (битный уровень ошибки) и диагностический мониторинг оптического модуля (DOM).Общие проблемы, с которыми сталкиваются в ранних развертываниях NDR, включают неоптимальное маршрутизация, вызванное неравными скоростями связи, несовместимые типы кабелей или несоответствия прошивки.и обеспечение последовательности прошивки на всех переключателях решает большинство аномалий производительности.

Инженеры сетей также должны установить базовыйСпецификации 920-9B210-00FN-0D0Отклонения от этой базовой линии могут использоваться в качестве ранних показателей потенциальных проблем.920-9B210-00FN-0D0 InfiniBand переключатель OPNтакже поддерживает всеобъемлющую регистрацию событий через syslog и SNMP, что позволяет интегрироваться с существующими стеками мониторинга центра обработки данных.

6. Резюме и оценка стоимости

В920-9B210-00FN-0D0предоставляет убедительное представление о ценности для организаций, создающих или расширяющих кластеры HPC и AI на базе NDR. Он предоставляет 64 порта 400Gb/s NDR с задержкой до 100ns, SHARPv3 offload,Управляемость на уровне предприятия, и полная совместимость с существующей экосистемой HDR в компактной платформе 1U. Ключевые ценности включают:

• Производительность:До 75% сокращение задержки связи "все-к-всем" и до 40% сокращение задержки связи "все-к-всем" за счет отгрузки SHARPv3 и пропускной способности NDR.
• Эффективность затрат:Более низкая сетевая стоимость на GPU по сравнению с альтернативами HDR в крупномасштабных развертываниях, обусловленная более высоким радиксом и уменьшенным количеством переключателей.
• Простота работы:Глубокая интеграция с UFM для единого управления, автоматизированного обеспечения, активного мониторинга и быстрого решения ошибок.
• Защита инвестиций:Полная совместимость с существующими кабелями HDR, оптикой и программным обеспечением, позволяющим поэтапные обновления без нарушения производственной нагрузки.
• Будущая масштабируемость:Поддержка трехуровневых топологий сложенного закрытия и dragonfly +, обеспечивая масштабирование ткани до 8000+ узлов по мере роста требований к вычислениям.

Для организаций, оценивающих920-9B210-00FN-0D0 для продажичерез партнеров каналов NVIDIA, мы рекомендуем просмотреть подробную920-9B210-00FN-0D0 лист данныхи взаимодействовать с сертифицированным архитектором решения для проверки дизайна для вашей конкретной нагрузки и масштабных требований.NVIDIA Mellanox 920-9B210-00FN-0D0готовы к производству сегодня, предлагая высокопроизводительные, масштабируемые основы для следующего поколения ИИ и высокопроизводительных технологий.