NVIDIA Mellanox MQM9790-NS2F Техническое руководство: Оптимизация низколатентных межсоединений для кластеров RDMA/HPC/AI

NVIDIA Mellanox MQM9790-NS2F Техническая справка: Оптимизация межсоединений с низкой задержкой для кластеров RDMA / HPC / AI

1. Анализ контекста и требований проекта

Современные обучение ИИ и симуляция HPC нагрузки характеризуются интенсивными, все-на-все коммуникационные модели, которые ставят крайние требования к базовой сети ткани.По мере того как кластеры GPU масштабируются выше 1В этом случае, если вы используете Ethernet для управления перегрузкой, то традиционный подход, основанный на Ethernet с программным обеспечением управления перегрузкой, оказывается недостаточным.

• Детерминированная сверхнизкая задержка:Задержка от порта до порта до микросекунды для минимизации времени завершения работы MPI.
• Из ткани без потерь:Ноль пакетов падает при перегрузке, чтобы предотвратить TCP инкаст и крах производительности.
• Вычислительная нагрузка в сети:Уменьшение накладных расходов на хост-CPU для коллективных операций (например, все-уменьшение, трансляция).
• Топология масштабируемая:Поддержка топологий fat-tree и dragonfly+ с полной полосой пропускания до тысяч конечных точек.

ВNVIDIA Mellanox MQM9790-NS2FАрхитектура предназначена для удовлетворения этих требований в виде коммутатора 400 Гбит/с NDR InfiniBand с 64 портами OSFP, обеспечивающего плотность и производительность, необходимые для развертывания эксаскального класса.

2. Общий дизайн сетевой архитектуры

Предлагаемое решение использует двухуровневую топологию лепесткового позвоночника, которая обеспечивает баланс масштабируемости, контроля переподписки и простоты кабеля.Каждая вычислительная стойка содержит одну или двеMQM9790-NS2F InfiniBand переключательНа спинном слое второй уровень коммутаторов MQM9790-NS2F соединяет все листы, создавая неблокирующую ткань.

Для крупномасштабных развертываний, превышающих 2000 узлов графического процессора, может быть принята трехуровневая архитектура с закрытым складом, сMQM9790-NS2F 400Gb/s NDR 64-портный OSFPЭта конструкция гарантирует, что любой сервер может общаться с любым другим сервером со скоростью линии,с не более чем тремя переключателями.

В следующей таблице обобщены типичные параметры масштабирования для двухуровневой ткани листового позвоночника, построенной вокруг MQM9790-NS2F:

3. Роль и основные особенности NVIDIA Mellanox MQM9790-NS2F

В рамках этой архитектурыNVIDIA Mellanox MQM9790-NS2Fслужит основным строительным блоком, обеспечивая несколько критических возможностей:

• 400 Гбит/с NDR на порт:Каждый из 64 портов OSFP поддерживает двухнаправленные 400Gb / s с коррекцией ошибок вперед (FEC) для надежной связи на большие расстояния.
• Интегрированный SHARPv3 (протокол масштабируемой иерархической агрегации и редукции):Отгружает операции коллективной связи с хост-CPU, уменьшая MPI all-reduce латентность до 40% в крупномасштабных работах.
• Адаптивное маршрутизация и управление перегрузкой:Динамическое перенаправление трафика, чтобы избежать горячих точек, обеспечивая предсказуемую производительность даже при противоречивых моделях трафика.
• Усовершенствованная телеметрия:Счетчики по потоку и по порту, наряду с мониторингом занятости буфера, обеспечивают глубокую видимость состояния ткани.

СогласноЛист данных MQM9790-NS2F, переключатель обеспечивает задержку через 100 нс и поддерживает до 51,2 Тб/с совокупной коммутационной мощности.Эти спецификации делают его идеальным выбором как для развертывания на новом уровне, так и для поэтапного обновления инфраструктуры HDR (200 Гбит/с).

4. Рекомендации по развертыванию и масштабируемости

Для организаций, планирующих принятьMQM9790-NS2F Раствор коммутатора InfiniBand, рекомендуются следующие руководящие принципы применения:

• Стратегия кабелирования:Используйте медные кабели прямого присоединения OSFP-OSFP (DAC) для внутрираковых соединений (до 3 м) и активные оптические кабели (AOC) или оптические приемопередатчики для межраковых и спинно-листных связей (до 100 м).
• Отставка:Разверните двойные источники питания и модули вентиляторов, подключающие каждый источник питания к отдельным ПДУ для устойчивости к сбоям.
• Соответствие прошивки:Убедитесь, что все переключатели работают на одной и той же версии прошивки NVIDIA, чтобы избежать несоответствия функций.
• МасштабируемостьДля кластеров свыше 4000 узлов рассмотрим трехуровневую топологию закрытого свертывания или Dragonfly+ с адаптивным маршрутизацией.Совместимая с MQM9790-NS2FЭкосистема включает широкий спектр оптики и кабелей для поддержки этих топологий.

При расчете общей стоимости владения учитывать уменьшенное количество уровней коммутаторов и упрощенное кабелирование по сравнению с альтернативами с более низким радиксом.Цена MQM9790-NS2Fна единицу выше, чем на коммутаторах предыдущего поколения, стоимость на порт и сетевые затраты на GPU значительно ниже в крупномасштабных развертываниях,что делает его экономически эффективным выбором для проектов Exascale.

5. Операции, мониторинг и устранение неполадок

Эффективное управление NDR тканей требует комплексного мониторинга и системы устранения неполадок.NVIDIA Mellanox MQM9790-NS2F- на основе тканей, предлагающие:

• Визуализация топологии:Автоматическое обнаружение и графическое представление всех переключателей, ссылок и конечных точек.
• Приборные панели производительности:Виды в режиме реального времени использования портов, частоты ошибок и показатели перегруженности.
• Проактивное оповещение:Тревожные сигналы для нарушения связи, температурных аномалий и сбоев питания.
• Ошибка изоляции:Руководствуемые рабочие процессы устранения неполадок, которые идентифицируют неисправные кабели, передатчики или порты коммутаторов.

Для усовершенствованного устранения неполадокСпецификации MQM9790-NS2Fвключает в себя подробную статистику мониторинга буфера и уровня потока, которую можно экспортировать через API REST для интеграции с пользовательскими стеками мониторинга.Сетевые инженеры также должны использовать встроенные диагностические инструменты коммутатора, такие как повторные тесты и анализ BER (битная погрешность), для проверки целостности связи перед развертыванием производственных нагрузок.

Общие проблемы, с которыми сталкиваются во время раннего развертывания, включают неоптимальное маршрутизация, вызванное неравными скоростями связи или несовместимыми типами кабелей.Включение адаптивного маршрутизации и проверка того, что все ссылки работают со скоростью 400 Гбит/с (с включенным FEC), решает большинство аномалий производительности.MQM9790-NS2F Раствор коммутатора InfiniBandтакже включает поддержку резервирования менеджера подсети, обеспечивающего возможность перенастройки ткани без ручного вмешательства в случае сбоя узла управления.

6. Резюме и оценка стоимости

ВMQM9790-NS2Fпредставляет собой значительный прогресс в высокопроизводительных сетях, обеспечивающих пропускную способность NDR 400 Гбит/с, плотность 64-х портов и ускорение вычислений в сети на одной управляемой платформе 1U.Для архитекторов и инженеров, проектирующих кластеры ИИ и HPC, этот переключатель обеспечивает проверенный путь к экзамасштабной производительности, позволяющий:

• Снижение до 30%в сроки завершения работы для крупномасштабных учебных рабочих нагрузок с помощью SHARPv3 разгрузки.
• Более низкая TCOпо сравнению с альтернативными решениями, обусловленными более высоким радиксом и меньшим количеством переключающих слоев.
• Упрощенные операциичерез интеграцию UFM и комплексную телеметрию для проактивного управления неисправностями.
• Будущая масштабируемостьдля поддержки GPU следующего поколения и ускорителей взаимосвязей.

Для организаций, оценивающихMQM9790-NS2F для продажичерез партнерскую сеть NVIDIA, мы рекомендуем просмотреть подробнуюЛист данных MQM9790-NS2Fи взаимодействовать с сертифицированным архитектором решений, чтобы адаптировать развертывание к вашей конкретной нагрузке и требованиям масштаба.NVIDIA Mellanox MQM9790-NS2FТеперь он готов служить высокопроизводительной основой для научных открытий и инноваций в области ИИ в следующем десятилетии.