Mellanox (NVIDIA Mellanox) MQM8790-HS2F Техническое решение для коммутатора InfiniBand

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Technical Solution. Оптимизация межсоединений с низкой задержкой для кластеров RDMA/HPC/AI

Анализ контекста и требований проекта

По мере того, как обучение больших моделей ИИ и научные вычисления HPC масштабируются до более крупных масштабов,основная проблема для вычислительных кластеров переместилась от одноузловой вычислительной мощности к эффективности межузловой связи. RDMA-сети служат транспортной основой для коллективных операций, доступа к хранилищам и трафика контрольных пунктов, и их поведение напрямую определяет общее использование кластеров.

Типичные требования в этих проектах включают:

• Высокая пропускная способность на узел:Серверы GPU все чаще требуют 200 Гбит/с или выше, чтобы идти в ногу с рабочими нагрузками на обучение с несколькими GPU.
• Предсказуемая низкая задержка:AllReduce и синхронизация параметров чувствительны к задержке хвоста, а не только к средней задержке.
• МасштабируемостьТкань должна расти от десятков узлов до сотен или тысяч без перепроектирования топологии.
• Управляемость:Операционным группам нужна телеметрия и видимость перегрузки, чтобы изолировать медленные узлы и неправильно настроенные связи.

MQM8790-HS2F имеет позицию для удовлетворения этих требований в качестве платформы переключателя HDR InfiniBand скоростью 200 Гбит/с.

Общий проект сетевой и системной архитектуры

Рекомендуемая архитектура представляет собой неблокирующее двухуровневое дерево жира, с позвоночным слоем, построенным из коммутаторов MQM8790-HS2F, и листовным слоем, соединяющим вычислительные и хранилищные узлы.Эта конструкция обеспечивает единую пропускную способность с востока на запад и предсказуемое разнообразие путей, что имеет важное значение для моделей трафика RDMA.

Ключевые архитектурные решения включают:

• HDR с конца на конец:Вычислительные узлы, оборудованные адаптерами ConnectX-6 или ConnectX-7, соединяются со скоростью 200 Гбит/с с переключателями листа, образуя совместимый с MQM8790-HS2F путь конца к концу.
• Вместимость позвоночника:Каждый переключатель MQM8790-HS2F 200Gb/s HDR 40-портный QSFP56 обеспечивает 40 портов со скоростью 200Gb/s, позволяя гибкое распределение восходящей и нисходящей связи на основе целей переподписки.
• Ткань для хранения:Цели параллельного хранения и NVMe-over-Fabrics могут быть размещены на специальных группах листов, чтобы изолировать трафик хранения от трафика обучения.
• План управления:Управление и сбор телеметрии вне полосы отделены от плоскости данных, чтобы избежать помех.

Роль Mellanox (NVIDIA Mellanox) MQM8790-HS2F и ключевые характеристики

В этом решении Mellanox (NVIDIA Mellanox) MQM8790-HS2F действует как основной элемент переключения, агрегируя трафик листов и обеспечивая вычисления в сети.Это также уменьшает общие расходы на коммуникацию и повышает эффективность тканей.

К основным техническим характеристикам относятся:

• Порты HDR 40 × 200 Гбит/с:Общая пропускная способность до 16 Тб/с в форм-факторе 1 У, с адаптивной поддержкой скоростей HDR, EDR и FDR.
• SHARP в сетевом компьютере:Отгружает AllReduce и связанные с ним коллективные операции на коммутатор, уменьшая участие GPU и CPU.
• Адаптивный маршрутизатор:Уменьшает напряженность и улучшает балансировку нагрузки на нескольких маршрутах.
• Контроль заторы:Поддерживает DCQCN и связанные с ним механизмы для поддержания стабильной задержки под нагрузкой.
• Экосистема программного обеспечения:Управляется MLNX-OS и контролируется через UFM и NetQ.

Архитекторам следует просмотреть таблицу данных MQM8790-HS2F и спецификации MQM8790-HS2F для деталей питания, охлаждения и разделения портов перед окончательным оформлением стеллажа.Цена MQM8790-HS2F и опционы на продажу MQM8790-HS2F должны быть подтверждены каналом закупок., поскольку цены различаются в зависимости от масштаба и конфигурации.

Рекомендации по развертыванию и расширению

Для первоначального развертывания один коммутатор MQM8790-HS2F InfiniBand может служить как основой и ядром в небольшом кластере, соединяя до 40 узлов со скоростью 200 Гбит/с. По мере роста кластера,добавляются дополнительные переключатели позвоночника, и ткань переходит на полную двухуровневую конструкцию с отделением листья-позвоночника.

Руководство по расширению:

• Дисциплина кабеля:Стандартизировать QSFP56 оптику и DAC/AOC типы для упрощения экономии и снижения риска совместимости.
• Разделение портов:Использование 2×100 Гбит/с, когда 200 Гбит/с на узел не требуется, повышая эффективность портов.
• Цели переподписки:Планируйте соотношение позвоночника к листу, основываясь на моделях разрыва нагрузки, а не только на теоретической ширине полосы передачи пика.
• Мощность и охлаждение:Проверьте расстояние к расстоянию мощности перед переключателем перед выходом.

Мониторинг операций, устранение неполадок и оптимизация

Операционная видимость имеет решающее значение для поддержания низкой задержки в масштабе.Решение MQM8790-HS2F InfiniBand Switch должно быть интегрировано с UFM для мониторинга по всей ткани и NetQ для телеметрии и проверки..

Рекомендуемые методы включают:

• Следите за счетчиками по портам на наличие ошибок, отказов и перегрузок.
• Отслеживать кандидатов с медленными узлами с помощью телеметрии, а не полагаться исключительно на неудачи на уровне работы.
• Проверьте согласованность прошивки для всех коммутаторов и адаптеров, чтобы избежать проблем со совместимостью.
• Периодически пересматривайте конфигурацию SHARP, поскольку неправильно сконфигурированные деревья агрегации могут уменьшить, а не улучшить производительность.

Резюме и оценка ценности

MQM8790-HS2F обеспечивает практическую основу для кластеров RDMA, HPC и AI, которые требуют предсказуемой низкой задержки и высокой пропускной способности.SHARP в сетевом вычислении, и зрелой экосистемы управления, NVIDIA Mellanox MQM8790-HS2F помогает архитекторам проектировать ткани, которые масштабируются без ущерба для эффективности.

С точки зрения стоимости, вклад коммутатора должен оцениваться по использованию кластера, времени завершения работы и операционных накладных расходов, а не только по числу портов.