NVIDIA Mellanox MQM8790-HS2F Техническая белая книга

Технический документ о коммутаторе NVIDIA Mellanox MQM8790-HS2F InfiniBand: Оптимизация межсоединения с малой задержкой для кластеров RDMA/HPC/AI

Этот технический документ предназначен для сетевых архитекторов, инженеров по предпродажной подготовке и менеджеров по эксплуатации. Он сосредоточен наNVIDIA Мелланокс MQM8790-HS2FКоммутатор HDR InfiniBand со скоростью 200 Гбит/с, обеспечивающий комплексное решение для оптимизации межсоединений с малой задержкой в ​​кластерах высокопроизводительных вычислений (HPC) с ускорением RDMA и искусственным интеллектом (AI). Документ охватывает проектирование архитектуры, ключевые технологии, стратегии развертывания и масштабирования, мониторинг операций и оценку стоимости, предлагая воспроизводимый план вычислительной инфраструктуры нового поколения с интенсивным использованием данных.

1. Предыстория проекта и анализ требований

Поскольку параметры модели ИИ достигают величин в триллионах масштабов, а моделирование HPC требует все более высокого разрешения, базовая сетевая структура превратилась из вспомогательного компонента в основной фактор, определяющий производительность. Например, задания распределенного обучения могут тратить 40–60% времени выполнения на операции коллективной связи, если межсоединению не хватает достаточной пропускной способности и характеристик задержки. Для корпоративных ИТ-команд это напрямую приводит к увеличению времени вывода на рынок инициатив в области искусственного интеллекта и недостаточному использованию инвестиций в графические процессоры.

Ключевые требования, выявленные в ходе обширного взаимодействия с клиентами, включают:

• Сверхнизкая и предсказуемая задержка:Сквозная коммутация менее 200 нс для трафика MPI и RDMA с минимальным конкурирующим джиттером.
• Неблокирующая пропускная способность:Стабильная производительность линии на всех портах одновременно, исключающая образование точек доступа и ухудшение задержки.
• Внутрисетевые вычисления:Аппаратное ускорение коллективных операций (полное сокращение, широковещательная рассылка, барьер) для разгрузки процессоров хоста и уменьшения перемещения данных.
• Поддержка масштабируемой топологии:Возможность создавать топологии «толстое дерево», «тор» или «стрекоза+», охватывающие от сотен до тысяч узлов, без чрезмерных слоев переключения.
• Упрощенное управление:Унифицированный мониторинг структуры, автоматическое обнаружение топологии и упреждающее обнаружение неисправностей для снижения эксплуатационных расходов.

MQM8790-HS2Fбыл выбран в качестве оптимального строительного блока для этой архитектуры решения, с его предварительнымТехническое описание MQM8790-HS2Fподтверждение наличия 40 портов HDR 200 Гбит/с, сквозной задержки менее 130 нс и поддержки внутрисетевых вычислений SHARP v3.0 — возможности, которые напрямую соответствуют вышеуказанным требованиям.

2. Общий проект архитектуры сети/системы.

В предлагаемой архитектуре используется двухуровневая топология «толстого дерева» для кластеров до 1200 узлов с возможностью расширения до трех уровней для более крупных развертываний. Эта топология сочетает в себе производительность, стоимость и управляемость, обеспечивая полную полосу пропускания пополам и детерминированную задержку по всей структуре.

Каждый листовой коммутатор подключает до 16 вычислительных узлов через адаптеры хост-канала HDR NVIDIA ConnectX-6 или ConnectX-7, используяСовместимость с MQM8790-HS2Fэкосистема оптики, включая как активные оптические кабели (AOC), так и пассивные медные ЦАП, в зависимости от расстояния соединения.MQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56Конструкция обеспечивает достаточную плотность для агрегации на уровне стойки, сохраняя при этом форм-фактор 1U для эффективного использования пространства стойки.

Для кластеров, превышающих 1200 узлов, рекомендуется трехуровневая топология с дополнительным уровнем суперспина. В этой конфигурацииMQM8790-HS2F Коммутатор InfiniBandсохраняет свою роль на всех уровнях, упрощая управление резервированием и конфигурацией — один тип коммутатора поддерживает всю структуру, от периферии до ядра.

3. Роль и ключевые особенности NVIDIA Mellanox MQM8790-HS2F

NVIDIA Мелланокс MQM8790-HS2Fслужит основным элементом коммутации в этой архитектуре, предоставляя следующие отличительные возможности, которые непосредственно способствуют оптимизации межсоединений с малой задержкой:

• Скорость порта HDR 200 Гбит/с:Удваивает пропускную способность EDR предыдущего поколения (100 Гбит/с), сохраняя при этом обратную совместимость с HDR100 (100 Гбит/с) для сред со смешанной скоростью, защищая предыдущие инвестиции.
• Сквозное переключение с задержкой менее 130 нс:Минимизирует время пребывания пакетов внутри коммутатора, что критически важно для чувствительных к задержке операций RDMA и шаблонов коллективной связи.
• Внутрисетевые вычисления SHARP v3.0:Разгружает операции сокращения с центральных процессоров на коммутационную структуру, сокращая трафик данных до 30 % и ускоряя общее снижение производительности для обучения искусственного интеллекта до 2 раз.
• Адаптивная маршрутизация и контроль перегрузок:Динамически распределяет трафик по нескольким путям, чтобы избежать «горячих точек», с помощью флагов перегрузки и управления потоком на основе кредитов, обеспечивающих работу без потерь — необходимое условие для производительности RDMA.
• Интегрированная телеметрия и диагностика:Обеспечивает детальное представление о занятости буфера каждого порта, частоте ошибок в канале и структуре трафика, что позволяет осуществлять упреждающую оптимизацию и быстрое обнаружение неисправностей.

Согласно подробномуТехнические характеристики MQM8790-HS2FКоммутатор поддерживает варианты прямого и обратного воздушного потока, что позволяет использовать различные конструкции охлаждения центров обработки данных. Двойные резервные источники питания и модули вентиляторов с возможностью горячей замены еще больше повышают надежность и удобство обслуживания.

4. Рекомендации по развертыванию и расширению (с типовой топологией)

Для сбалансированного и экономически эффективного первоначального развертывания рекомендуется использовать следующие рекомендации:

• Соединение между узлами:Используйте кабели HDR 200 Гбит/с (медный ЦАП для ≤3 м, AOC для ≤30 м) сСовместимость с MQM8790-HS2FРазъемы QSFP56. Убедитесь, что адаптеры хост-канала настроены на ту же скорость соединения и настройки FEC, что и порты коммутатора.
• Соединение между листом и позвоночником:Разверните AOC 200 Гбит/с или многомодовые оптоволоконные трансиверы на расстояниях до 100 метров.MQM8790-HS2Fавтоматически согласовывает параметры канала, упрощая развертывание.
• Планирование превышения подписки:Для рабочих нагрузок AI/HPC общего назначения коэффициент превышения подписки 2:1 (два вычислительных узла на восходящий канал 200 Гбит/с) обеспечивает оптимальное соотношение цены и производительности. Для рабочих нагрузок с оптимизированной задержкой или интенсивным использованием хранилища рассмотрите возможность переподписки 1:1 (полная).
• Путь расширения:При добавлении новых стоек просто разверните дополнительные листовые коммутаторы и подключите их к существующим коммутаторам. Для значительного увеличения емкости (удвоения количества узлов) обновите уровень позвоночника до более высокого уровня счисления или добавьте уровень супер-позвоночника.

При оценкеЦена MQM8790-HS2Fи совокупной стоимости владения, учтите, что унифицированная архитектура — использование одного и того же типа коммутатора на всех уровнях структуры — снижает требования к запасам запасных частей примерно на 70 % по сравнению с подходами с использованием нескольких SKU. Такое упрощение ускоряет реагирование на инциденты и сводит к минимуму время простоя во время сбоев оборудования.

5. Мониторинг операций, устранение неполадок и оптимизация.

Эффективное управлениеMQM8790-HS2F Коммутатор InfiniBandсреда требует систематического подхода к мониторингу, диагностике и настройке производительности.

Лучшие практики мониторинга:

• Разверните Unified Fabric Manager (UFM) от NVIDIA для централизованного наблюдения за структурой, включая карты топологии, тепловые карты использования каждого канала и гистограммы задержек в реальном времени.
• Отслеживайте счетчики ошибок на каждом порту, особенно ошибок CRC, ошибок символов и событий потери связи, чтобы заранее выявить ухудшение качества оптики или кабелей. Установите ловушки SNMP для предварительно определенных пороговых значений, чтобы обеспечить упреждающее обслуживание.
• Отслеживайте эффективность коллективной работы SHARP с помощью встроенных счетчиков производительности коммутатора, выявляя возможности оптимизации шаблонов коллективной связи на уровне приложений.

Устранение распространенных проблем:

• Свяжите ошибки CRC на определенных портах:Проверьте посадку кабеля и чистоту оптических разъемов. Если ошибки сохраняются, замените кабель или трансивер.Техническое описание MQM8790-HS2Fпредоставляет подробные диагностические пороги для каждого порта.
• Неожиданные скачки задержки:Проверьте наличие перегрузок с помощью анализа транспортных потоков UFM. Адаптивная маршрутизация может потребовать перенастройки для определенных шаблонов трафика — поэкспериментируйте с различными алгоритмами маршрутизации (минимальными и неминимальными).
• Проблемы с разделами Fabric:Убедитесь, что ключ раздела (PKey) и менеджер подсети IPoIB настроены правильно. Встроенный диспетчер подсети коммутатора обеспечивает автоматическое обнаружение структуры, но в многопользовательских средах может потребоваться ручная настройка.

Советы по оптимизации производительности:

• Для рабочих нагрузок обучения искусственного интеллекта включите SHARP v3.0 и настройте библиотеки коллективной связи (NCCL, OpenMPI) для использования возможностей разгрузки коммутатора. Это может сократить задержку почти в 2 раза для сообщений большого размера.
• Для чувствительных к задержке приложений HPC рассмотрите возможность отключения адаптивной маршрутизации, чтобы обеспечить детерминированный выбор пути, поменяв некоторое разнообразие путей на предсказуемую задержку.
• Периодически проверяйте и обновляйте прошивку коммутатора, поскольку NVIDIA регулярно выпускает улучшения производительности и исправления безопасности. Обратитесь кТехническое описание MQM8790-HS2Fдля матриц совместимости версий.

6. Резюме и оценка стоимости

NVIDIA Мелланокс MQM8790-HS2Fпредлагает привлекательное предложение для организаций, создающих или модернизирующих кластеры RDMA/HPC/AI. Обеспечивая скорость 200 Гбит/с на порт, задержку менее 130 нс и ускорение внутрисетевых вычислений в корпусе высотой 1U с 40 портами, коммутатор отвечает самым строгим требованиям к межсоединениям современных рабочих нагрузок с интенсивным использованием данных.

Ключевые факторы стоимости включают в себя:

• Масштабируемость производительности:Неблокирующая архитектура «толстого дерева», построенная вокругMQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56количество узлов масштабируется от 200 до 10 000+ узлов без фундаментальных изменений топологии.
• Операционная эффективность:Единый тип коммутатора на всех уровнях структуры сокращает запасы запасных частей, упрощает обучение и ускоряет устранение неполадок.
• Защита инвестиций:Обратная совместимость с HDR100 и EDR позволяет проводить поэтапные обновления, а форм-фактор коммутатора и плотность портов соответствуют будущим дорожным картам 400G (NDR).
• Проверенная экосистема:Глубокая интеграция с адаптерами NVIDIA ConnectX, процессорами BlueField DPU и платформой управления UFM обеспечивает сквозную предсказуемость производительности.

Для организаций, готовых к развертыванию,MQM8790-HS2F на продажучерез глобальную сеть авторизованных дистрибьюторов NVIDIA включает комплексные варианты поддержки, включая запасные части на месте, расширенную замену и подписку на обновления прошивки. ПодробныйТехнические характеристики MQM8790-HS2Fи эталонные проекты доступны на портале технической документации NVIDIA, а индивидуальные консультации по топологии предлагаются для крупномасштабного развертывания на существующих или новых объектах.