Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Коммутатор InfiniBand в действии: оптимизация межсоединения с малой задержкой
May 29, 2026
В реальном мире обучение ИИ и высокопроизводительных вычислительных развертываний, сетевая задержка и расходы на ЦП часто становятся молчаливыми убийцами масштабируемости.В данном резюме рассматривается, как средняя научно-исследовательская организация решила именно эти проблемы, используяMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand переключатель как основная ткань для их исследовательского кластера на основе графического процессора.
Ткань Ethernet RoCE 100Gb / s организации страдала от непредсказуемой задержки задержки из-за штормов PFC (Priority Flow Control) и неэффективной обработки перегрузок.Размеры моделей ИИ увеличились с 10 миллиардов до более 50 миллиардов параметров., коллективные коммуникационные операции (All-Reduce, All-to-All) потребляли почти 45% от общего времени итерации.ткань с низкой задержкой, которая может полностью использовать RDMA при сохранении линейного масштабирования производительностиПоиски быстро сходились на920-9B110-00FH-0D0как самый перспективный строительный блок.
Команда выбрала920-9B110-00FH-0D0 MQM8790-HS2F 200 Гбит/с HDRпереключатель, как позвоночник, соединяющий 64 узла GPU на четырех стойках.920-9B110-00FH-0D0 InfiniBand переключатель OPNВ рамках заказа, они развернули два избыточных спинных коммутатора с 40 портами HDR каждый, достигнув не блокирующего 1: 1 соотношение переподписки.Развертывание использовало адаптивный маршрутизатор и SHARPv2 (протокол масштабируемой иерархической агрегации и сокращения) 920-9B110-00FH-0D0 лист данныхДля обеспечения совместимости команда подтвердила, что920-9B110-00FH-0D0 совместимыЭкосистема включала существующие адаптеры ConnectX-6 HDR и стандартную оптику QSFP56.
После развертывания телеметрия показала резкое улучшение. Отставание от конца до конца между любыми двумя узлами GPU снизилось с 3,2 мкм (RoCE) до менее 1,1 мкм, при этом джитр снизился на 80%.NVIDIA Mellanox 920-9B110-00FH-0D0сокращение времени выполнения All-Reduce на 57% для 512-GPU-работ.
| Метрический | Предыдущий (RoCE) | С 920-9B110-00FH-0D0 |
|---|---|---|
| Средняя задержка P2P (MPI pingpong) | 3.2 μs | 10,08 мс |
| All-Reduce (512 графических процессоров, сообщение 1 ГБ) | 170,3 мс | 7.4 мс |
| Эффективное использование полосы пропускания | 62% | 94% |
| Процессорная нагрузка (на 10 Гбит/с) | ~ 8% | < 1% |
Помимо необработанных чисел,920-9B110-00FH-0D0 InfiniBand Switch OPN решениеИспользуя NVIDIA UFM (Unified Fabric Manager), команда получила видимость ткани в режиме реального времени, автоматическую оптимизацию пути,и проактивные предупреждения о перегрузке возможности, недоступные в предыдущем развертывании Ethernet.Спецификации 920-9B110-00FH-0D0также позволили энергоэффективную работу: шасси 1U потребляло только 180 Вт при полной нагрузке, снижая их вклад в PUE.
Для организаций, оценивающих аналогичные модернизации,920-9B110-00FH-0D0 ценаПо сравнению с эквивалентными 200Gb / s Ethernet-свичами при учете более низких накладных расходов NIC и устранении дорогостоящих лицензий на беспотери Ethernet.920-9B110-00FH-0D0 для продажиАнализ ROI команды показал 9-месячный период окупаемости исключительно от улучшения использования GPU.
Развертывание подтвердило, чтоNVIDIA Mellanox 920-9B110-00FH-0D0для архитекторов, разрабатывающих кластеры искусственного интеллекта следующего поколения или системы HPC,Этот переключатель представляет собой проверенныйПоскольку рабочие нагрузки продолжают масштабироваться в сторону экзамасштаба, решения, построенные вокруг920-9B110-00FH-0D0останется в авангарде высокопроизводительного проектирования взаимосвязей.