Техническое решение коммутатора InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Этот технический документ предоставляет архитекторам, инженерам предпродажной подготовки и операционным группам комплексный эталонный проект, ориентированный наМелланокс (NVIDIA Mellanox) 920-9B210-00FN-0D0Переключатель InfiniBand. Решение решает наиболее насущные проблемы в современных средах искусственного интеллекта и высокопроизводительных вычислений: сетевые задержки, перегрузки и ограничения масштабируемости традиционных Ethernet-фабрик.

1. Предыстория проекта и анализ требований

Организации, развертывающие крупномасштабные кластеры графических процессоров для обучения крупным языковым моделям, моделирования молекулярной динамики или прогнозирования погоды, сталкиваются с общим узким местом: структурой межсоединений. Традиционный Ethernet с потерями не может гарантировать детерминированную задержку в доли микросекунды, необходимую для эффективных коллективных операций «все-сокращение» и «все-все». Ключевые требования, выявленные в ходе реальных развертываний, включают:

• Сквозная задержка менее 1 мкс для чувствительных к задержке рабочих нагрузок MPI
• Без потерь, скорость линии 400 Гбит/с на порт без блокировки начала линии
• Внутрисетевые вычисления для разгрузки коллективных операций с центральных процессоров
• Бесшовная масштабируемость от 8 до 2000+ узлов графического процессора без изменения архитектуры структуры.

Эти требования побудили нашу команду дизайнеров выбрать920-9Б210-00ФН-0Д0в качестве основного строительного блока для структуры нового поколения с малой задержкой.

2. Общий проект архитектуры сети/системы.

Предлагаемая архитектура использует двухуровневую топологию Leaf Spine, оптимизированную для неблокирующей полосы пропускания с полным разделением пополам. Все вычислительные узлы (серверы графических процессоров, устройства хранения данных, хосты управления) подключаются к конечным коммутаторам, а магистральные коммутаторы обеспечивают соединение «любой к любому» между листьями. Такая конструкция исключает избыточную подписку и обеспечивает предсказуемую задержку независимо от моделей связи.

Для эталонного кластера с 512 графическими процессорами мы развертываем 16 конечных коммутаторов и 8 магистральных коммутаторов, каждый из которых являетсяNVIDIA Мелланокс 920-9B210-00FN-0D0. Конечные каналы работают со скоростью NDR 400 Гбит/с, в результате чего совокупная пропускная способность структуры превышает 200 Тбит/с. Алгоритмы адаптивной маршрутизации (AR) и контроля перегрузки включены на всех портах для динамической балансировки трафика и предотвращения появления горячих точек во время событий incast.

3. Роль 920-9B210-00FN-0D0 и ключевые отличия

920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDRКоммутатор выполняет функцию как листа, так и позвоночника, обеспечивая стабильную производительность по всей сети. Его критические архитектурные преимущества включают в себя:

Инженеры, оценивающие закупки, найдут920-9B210-00FN-0D0 Переключатель InfiniBand OPN(номер детали для заказа) упрощает ценовое предложение и доставку. Для проверки совместимостиТехнический паспорт 920-9B210-00FN-0D0иТехнические характеристики 920-9Б210-00ФН-0Д0предоставить подробные матрицы совместимости с DPU ConnectX-7, BlueField-3 и устройствами хранения данных сторонних производителей.

4. Рекомендации по развертыванию и масштабированию

Мы рекомендуем поэтапный подход к развертыванию, чтобы минимизировать сбои в производстве:

• Этап 1 (пилотный):От 8 до 16 узлов графического процессора + 2920-9Б210-00ФН-0Д0коммутаторы (однорельсовая топология). Проверьте производительность RDMA и соберите базовые показатели.
• Этап 2 (Частичное производство):Масштабируйте до 128 графических процессоров, используя 4 листа + 2 шипа. Включите адаптивную маршрутизацию и SHARPv3.
• Этап 3 (Полное производство):Разверните 16 листьев + 8 шипов для более чем 512 графических процессоров. Внедрите многопутевую маршрутизацию и разделение структуры с помощью NVIDIA UFM.

Для прокладки кабелей используйте активные оптические кабели (AOC) или активные медные кабели длиной менее 5 метров; для более длинных магистралей или каналов между стойками используйте трансиверы NDR 400 Гбит/с с одномодовым оптоволокном. Все порты наСовместимость с 920-9B210-00FN-0D0экосистема поддерживает автоматическое согласование между режимами работы 400 Гбит/с и 200 Гбит/с.

5. Эксплуатация, мониторинг и устранение неполадок

Готовность производства требует надежной наблюдаемости. Мы интегрируем920-9B210-00FN-0D0 Коммутатор InfiniBand Решение OPNс NVIDIA Unified Fabric Manager (UFM). Ключевые оперативные возможности включают в себя:

• Телеметрия в реальном времени:Счетчики для каждого порта, гистограммы задержки, занятость буфера и уведомления о перегрузке, экспортируемые через Prometheus/Graphite.
• Автоматическое переключение при отказе:Перенаправление канала за доли секунды при выходе из строя кабеля или приемопередатчика.
• Диагностика производительности:Встроенные счетчики производительности SHARP и инструменты анализа структуры для выявления медленно истощаемых узлов.

Для решения распространенных проблем см.Технический паспорт 920-9B210-00FN-0D0коды ошибок и предлагаемые действия по их устранению. При планировании увеличения мощности проконсультируйтесь с920-9Б210-00ФН-0Д0 ценамодели для компромисса между расширением только листьев и полным шипом.

6. Резюме и оценка стоимости

NVIDIA Мелланокс 920-9B210-00FN-0D0Это решение обеспечивает детерминированную задержку в доли микросекунды, пропускную способность без потерь 400 Гбит/с и ускорение внутрисетевых вычислений для кластеров RDMA/HPC/AI. По сравнению с альтернативными конструкциями 400Gb Ethernet эта коммутационная сеть InfiniBand обеспечивает в 2,5 раза меньшую задержку и исключает до 90 % коллективного трафика через SHARPv3. Для организаций, оценивающих920-9Б210-00ФН-0Д0 в продажеВ вариантах общая стоимость владения обычно окупается в течение 6–12 месяцев за счет более высокой загрузки графического процессора и сокращения времени выполнения заданий. Мы рекомендуем немедленное пилотное развертывание любой новой или масштабируемой инфраструктуры искусственного интеллекта.