NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Техническое решение

Техническое решение коммутатора InfiniBand NVIDIA Mellanox MQM8790-HS2F | Оптимизация межсоединения с малой задержкой для кластеров RDMA/HPC/AI

1. Предыстория проекта и анализ требований

Поскольку обучающие кластеры искусственного интеллекта (ИИ) масштабируются до тысяч графических процессоров, а системы высокопроизводительных вычислений (HPC) стремятся к экзафлопсной производительности, сетевая структура, соединяющая вычислительные узлы, стала критическим фактором, определяющим производительность. В таких средах задержка — это не просто показатель — она напрямую влияет на производительность приложений, время принятия решения и общую эффективность кластера. Для рабочих нагрузок, которые в значительной степени зависят от коллективных операций MPI (интерфейс передачи сообщений) и шаблонов взаимодействия «все со всеми», таких как обучение больших языковых моделей, вычислительная гидродинамика и квантово-химическое моделирование, даже увеличение задержки на микросекундном уровне может привести к часам дополнительного времени выполнения. Традиционные сети Ethernet, даже с RDMA over Converged Ethernet (RoCE), часто с трудом обеспечивают детерминированную работу с низкой задержкой и без перегрузок, необходимую этим ресурсоемким приложениям.

Эта проблема усугубляется тремя параллельными тенденциями. Во-первых, растущий масштаб моделей искусственного интеллекта (сейчас превышающий триллионы параметров) требует массового параллелизма между тысячами графических процессоров, требуя структуры, способной поддерживать высокую пропускную способность с минимальными отклонениями по задержке. Во-вторых, конвергенция рабочих нагрузок HPC и искусственного интеллекта означает, что одна структура должна эффективно поддерживать как шаблоны связи на основе MPI, так и коллективные операции графического процессора на основе NCCL. В-третьих, операционная эффективность требует, чтобы структура была управляемой в любом масштабе, с возможностями комплексного мониторинга и автоматической оптимизации. Требуется структурированное техническое решение, использующее высокопроизводительный коммутатор InfiniBand с пересылкой с малой задержкой, расширенным управлением перегрузкой и ускорением вычислений внутри сети для обеспечения предсказуемой производительности в масштабе.

2. Общий проект архитектуры сети/системы.

Предлагаемая архитектура использует топологию позвоночника с использованиемNVIDIA Мелланокс MQM8790-HS2Fкоммутаторы в качестве конечного уровня, подключенные к коммутаторам с более высокой плотностью портов (таким как серия QM9700 с 64 портами NDR 400 Гбит/с) для крупномасштабных коммутационных сетей. Архитектура разработана для поддержки неблокируемой связи с полной полосой пропускания пополам, гарантируя, что любой вычислительный узел может взаимодействовать с любым другим узлом на скорости передачи данных без конфликтов.

При типичном развертывании кластера из 2000 узлов архитектура включает в себя:

• Уровень листьев:20MQM8790-HS2F Коммутатор InfiniBandустройства, каждое из которых имеет 40 портов QSFP56, работающих со скоростью HDR 200 Гбит/с. Каждый листовой коммутатор подключается к 50 вычислительным узлам (используя комбинацию прямых соединений 200 Гбит/с и коммутацию HDR100 100 Гбит/с через кабели QSFP56 и 2×QSFP56).
• Уровень позвоночника:4 коммутатора QM9700 (или эквивалентных коммутаторов высокой плотности), каждый с 64 портами NDR 400 Гбит/с, обеспечивающими межлистовое соединение.
• Вычислительные узлы:Каждый узел оснащен одним или несколькими адаптерами ConnectX-6 HDR или ConnectX-7 NDR, подключенными к листовым коммутаторам через пассивный медный или активный оптический кабель.
• Сеть управления:Отдельная внеполосная сеть Ethernet для управления коммутаторами, интегрированная с платформой NVIDIA Unified Fabric Manager (UFM) для централизованного мониторинга и оптимизации структуры.

Архитектура используетMQM8790-HS2F 200 Гбит/с HDR, 40 портов QSFP56конфигурация для обеспечения общей пропускной способности конечной коммутации 8 Тбит/с на коммутатор. Использование коммутационного узла HDR100 обеспечивает гибкие возможности подключения: каждый порт 200 Гбит/с может поддерживать либо одну конечную точку 200 Гбит/с, либо две конечные точки 100 Гбит/с, включая гетерогенные вычислительные узлы с разными скоростями интерфейса.

3. Роль и ключевые особенности NVIDIA Mellanox MQM8790-HS2F в решении

В рамках этой архитектурыMQM8790-HS2Fслужит основным конечным коммутатором, обеспечивающим подключение к вычислительным узлам с низкой задержкой и высокой пропускной способностью, а также поддерживает расширенные функции, необходимые для рабочих нагрузок HPC и искусственного интеллекта. Его ключевые технические характеристики имеют решающее значение для успеха всего решения:

• Задержка между портами менее 100 наносекунд:Обеспечивает детерминированную низкую задержку, необходимую для чувствительных к задержке коллективов MPI и операций полного сокращения.
• 40 портов HDR InfiniBand 200 Гбит/с:Обеспечивает общую коммутационную способность 8 Тбит/с в компактном форм-факторе 1U, максимально увеличивая плотность портов и сокращая занимаемое пространство в стойке.
• SHARP (Протокол масштабируемого иерархического агрегирования и сокращения) поддерживает:Обеспечивает ускорение вычислений в сети для коллективных операций MPI, разгружая до 20 % рабочей нагрузки на связь с ЦП/ГП.
• Адаптивная маршрутизация:Динамически распределяет трафик по доступным путям структуры на основе показателей перегрузки в реальном времени, оптимизируя пропускную способность и минимизируя отклонение задержки.
• Контроль перегрузок:Реализует расширенные механизмы управления перегрузкой (включая управление потоком на уровне пакетов и уведомление о перегрузке), чтобы предотвратить снижение производительности сетевых точек доступа.
• Поддержка прорыва HDR100:Позволяет настроить каждый порт 200 Гбит/с как два независимых порта 100 Гбит/с, обеспечивая гибкость развертывания в средах со смешанной скоростью.
• Комплексные интерфейсы управления:Поддерживает IBTA-совместимое управление подсетями (SM), SNMP, CLI, веб-интерфейс и интеграцию с UFM для централизованного управления структурой.
• Энергоэффективность:Типичное энергопотребление ниже 230 Вт, что способствует снижению требований к охлаждению и повышению PUE.

Эти функции подробно описаны вТехническое описание MQM8790-HS2F, который включает подробные кривые производительности, тепловые характеристики и механические чертежи для интеграции в инструменты компоновки стоек.

4. Рекомендации по развертыванию и масштабированию (с типичным описанием топологии)

Для первоначального развертывания мы рекомендуем стратегию модульного расширения, основанную на архитектуре уровня модуля. Каждый модуль состоит из 4 конечных коммутаторов и 2 магистральных коммутаторов, поддерживающих около 400 вычислительных узлов с полной полосой пропускания пополам.MQM8790-HS2F Коммутатор InfiniBandобеспечивает постепенное масштабирование путем добавления модулей по мере роста вычислительной мощности, при этом уровень позвоночника обеспечивает связь между модулями для создания единой структуры.

Типичная топология для одного модуля (400 вычислительных узлов):

• Листовые переключатели:4 × MQM8790-HS2F, каждый по 40 портов со скоростью 200 Гбит/с. 36 портов на каждый лист используются для подключения вычислительных узлов (поддержка до 72 узлов на каждый лист при использовании коммутационного соединения HDR100), а 4 порта на каждый лист используются для восходящих каналов связи.
• Переключатели позвоночника:2 QM9700 (или эквивалентные 64-портовые коммутаторы NDR), каждый из которых подключается ко всем 4 оконечным коммутаторам через восходящие каналы 400 Гбит/с (с использованием кабелей QSFP56 — QSFP-DD 4 × 200 Гбит/с).
• Вычислительные узлы:400 узлов, каждый из которых подключен к листовому коммутатору через одно соединение HDR100 200 Гбит/с или два соединения 100 Гбит/с.

Масштабирование за пределы одного модуля:

• Добавьте дополнительные модули (каждый с 4-листовыми коммутаторами MQM8790-HS2F) в соответствии с требованиями вычислительной мощности.
• Подключайте модули через уровень позвоночника (superspine) более высокого уровня с помощью дополнительных коммутаторов QM9700 или NDR.
• Поддерживайте консистенцию ткани, используяMQM8790-HS2Fво всех конечных позициях, обеспечивая равномерную задержку и управление по всей сети.

При развертыванииMQM8790-HS2Fв режиме коммутации HDR100 применяются следующие рекомендации по прокладке кабелей:

Для крупномасштабных фабрик, превышающих 2000 узлов, мы рекомендуем использовать возможности моделирования фабрики UFM для проверки конструкции топологии и поведения перегрузки перед развертыванием.

5. Эксплуатация и обслуживание: мониторинг, устранение неполадок и оптимизация.

Жизненный цикл эксплуатации фабрики InfiniBand на базе MQM8790-HS2F требует систематического подхода к мониторингу, устранению неполадок и оптимизации. Мы рекомендуем развернуть платформу NVIDIA UFM в качестве централизованного инструмента управления и мониторинга, обеспечивающего в режиме реального времени видимость производительности коммутационной сети, показателей задержки и моделей перегрузки.

Ключевые показатели мониторинга для отслеживания:

• Задержка на уровне порта:Сквозная задержка во всей структуре с оповещениями о портах, превышающих пороговые значения задержки.
• Пропускная способность и использование:Совокупная пропускная способность и пропускная способность каждого порта, выявление недостаточно или чрезмерно загруженных каналов.
• Индикаторы перегрузки:Отбрасывание пакетов, кадры паузы и события уведомления о перегрузке.
• Здоровье ткани:Состояние соединения, счетчики ошибок и телеметрия температуры/мощности.

Протокол устранения распространенных проблем:

1. Ухудшение задержки:Используйте инструменты анализа задержек UFM, чтобы определить конкретный путь или порт, испытывающий повышенную задержку; проверьте перегрузку или неправильную настройку адаптивной маршрутизации.
2. Ошибки или падения ссылок:Проверьте физические соединения (кабели, оптику) и счетчики ошибок портов; убедитесь, чтоСовместимость с MQM8790-HS2Fкабели и оптика используются согласноТехнические характеристики MQM8790-HS2F.
3. Проблемы управления подсетью:Убедитесь, что диспетчер подсети (SM) запущен и топология структуры правильно обнаружена; проверьте события аварийного переключения SM.

Рекомендации по оптимизации:

• Адаптивная настройка маршрутизации:Настройте параметры алгоритма маршрутизации на основе наблюдаемых шаблонов трафика — используйте UFM для моделирования различных политик маршрутизации перед их применением в производственной структуре.
• Конфигурация контроля перегрузки:Включайте и настраивайте механизмы контроля перегрузки (такие как синхронизация пакетов и управление приоритетом потока) на основе характеристик рабочей нагрузки. Обучение ИИ выигрывает от более агрессивного контроля перегрузки по сравнению с рабочими нагрузками HPC.
• Обновления прошивки и программного обеспечения:Регулярно обновляйте прошивку коммутатора и программное обеспечение UFM, чтобы получить доступ к повышению производительности и новым функциям.
• Периодические проверки ткани:Проводите регулярные проверки кабелей, электропитания и охлаждения, чтобы обеспечить эксплуатационную надежность в масштабе.

6. Резюме и оценка стоимости

NVIDIA Мелланокс MQM8790-HS2FЭто техническое решение предоставляет комплексную, проверенную на практике методологию оптимизации межсоединений с малой задержкой в ​​кластерах RDMA/HPC/AI. Используя 40 портов коммутатора HDR InfiniBand со скоростью 200 Гбит/с, задержку менее 100 наносекунд, внутрисетевые вычисления SHARP и возможности адаптивной маршрутизации, организации могут создавать фабрики, которые обеспечивают предсказуемую производительность в масштабе, упрощая при этом управление и сокращая операционные накладные расходы.

Ключевые показатели ценности сопоставимых развертываний включают в себя:

• Уменьшение задержки:Задержка между портами менее 100 наносекунд сокращает коллективное время завершения MPI до 35 % по сравнению с фабриками предыдущего поколения.
• Ускорение приложения:Разгрузка вычислений внутри сети SHARP снижает нагрузку на связь ЦП/ГП до 20 %, ускоряя время обучения ИИ на 25–30 %.
• Эффективность ткани:Адаптивная маршрутизация и контроль перегрузки поддерживают стабильную производительность при изменяющейся нагрузке, снижая изменчивость производительности до 60%.
• Операционное упрощение:Интеграция UFM обеспечивает комплексную прозрачность и автоматизацию, сокращая MTTR для инцидентов в фабрике до 50%.
• Экономическая эффективность:Цена MQM8790-HS2Fв сочетании с высокой плотностью портов обеспечивает более низкую стоимость порта по сравнению с альтернативными решениями InfiniBand, одновременно сокращая пространство в стойке и требования к электропитанию.

Сетевым архитекторам и инженерам MQM8790-HS2F предлагает масштабируемую высокопроизводительную основу для кластеров HPC и искусственного интеллекта нового поколения. Решение особенно рекомендуется организациям, развертывающим крупномасштабные среды с графическим ускорением, а также традиционным центрам высокопроизводительных вычислений, модернизирующим фабрики со 100 Гбит/с до 200 Гбит/с. Поскольку InfiniBand продолжает развиваться в направлении NDR (400 Гбит/с) и XDR (800 Гбит/с), поддержка MQM8790-HS2F HDR100 обеспечивает совместимость с существующей инфраструктурой, обеспечивая при этом четкий путь перехода к будущим скоростям.

Подробные шаблоны проектирования фабрики, руководства по настройке производительности и контрольные списки развертывания см.Техническое описание MQM8790-HS2Fи документацию по архитектуре NVIDIA Mellanox InfiniBand.