Оптический трансивер NVIDIA Mellanox MMA4Z00-NS для центров обработки данных на практике

NVIDIA Mellanox MMA4Z00-NS в дата-центрах: практическое применение | Баланс между пропускной способностью и расстоянием для внутристоечных и межкомнатных соединений

Предпосылки и вызовы: дилемма расстояния в условиях наплыва пропускной способности

Ведущий интернет-провайдер столкнулся с классической проблемой инфраструктуры дата-центра при модернизации своего кластера для обучения ИИ в зоне доступности в Северном Китае. Вычислительные узлы, включающие GPU NVIDIA H200, были распределены по соседним стойкам в одном зале и по двум физическим машинным залам на разных этажах. Требование было четким: обеспечить полную пропускную способность 800G на линейной скорости при длине соединения до 80 метров. Традиционные трансиверы 800G SR8 обычно достигают максимума в 50 метров по многомодовому волокну OM4, в то время как решения 800G DR8/FR8, хотя и обеспечивают большую дальность, имеют значительно более высокую стоимость и энергопотребление, что делает их непригодными для развертывания в условиях высокой плотности внутри кластера.

Усугубляло проблему то, что архитектура кластера требовала одновременной поддержки как InfiniBand (для связи GPU-GPU), так и Ethernet (для сетей хранения данных и управления), исключая возможность использования протокольно-специфических оптик. Инженерной команде нужна была единая унифицированная платформа трансиверов, которая могла бы преодолеть разрыв между производительностью и дальностью без ущерба для плотности портов или простоты эксплуатации. Именно здесь NVIDIA Mellanox MMA4Z00-NS вошел в конвейер оценки.

Решение и развертывание: MMA4Z00-NS как унифицированная оптическая стратегия

После изучения техническом описании MMA4Z00-NS и проведения тщательных квалификационных испытаний команда сетевой архитектуры провайдера выбрала NVIDIA Mellanox MMA4Z00-NS в качестве стандартного оптического трансивера как для внутристоечных, так и для межкомнатных соединений. Возможность модуля работать как MMA4Z00-NS 2x400G InfiniBand/Ethernet устройство была особенно привлекательной, позволяя одному SKU обслуживать два протокольных домена.

Развертывание было структурировано в две отдельные фазы:

• Фаза 1 – Внутри стойки (≤15 м): Внутри каждой стойки MMA4Z00-NS был сопряжен с высококачественными патч-кордами OM4 для обеспечения подключения 800G между коммутаторами уровня leaf и вычислительными узлами GPU. Архитектура 8×100G PAM4 обеспечивала стабильную целостность сигнала с запасом, значительно превышающим спецификации IEEE/IBTA, что было подтверждено тестированием коэффициента ошибок по битам (BER) на месте.
• Фаза 2 – Между комнатами (до 80 м): Для более длинных межкомнатных соединений инженерная команда использовала улучшенную эквализацию модуля и бюджеты оптической мощности передачи/приема. Работая как трансивер MMA4Z00-NS 800G OSFP SR8, модуль поддерживал безошибочную передачу на расстояние 80 метров по волокну OM4, превосходя типичную спецификацию в 50 метров, путем оптимизации параметров настройки DSP в соответствии с подробными спецификациями MMA4Z00-NS.

Провайдер использовал гибридный подход к кабельной системе: магистральные кабели MPO-12 для структурированных горизонтальных трасс в дата-холле и кассетные панели MPO для межкомнатных соединений. Эта конструкция минимизировала вносимые потери и гарантировала, что экосистема, совместимая с MMA4Z00-NS, включающая широкий спектр разветвительных кабелей MPO и DAC, может быть полностью использована без необходимости в пользовательских кабелях.

Результаты и операционные преимущества

После полного развертывания NVIDIA Mellanox MMA4Z00-NS на 144 соединениях провайдер сообщил о нескольких количественных улучшениях:

• Единый инвентарь: Один SKU трансивера заменил три ранее рассматриваемых альтернативы (варианты 800G SR8, 400G×2 и FR4), сократив запасы запасных частей на 67% и упростив закупки. Команда теперь называет этот подход своим стандартным решением трансивера MMA4Z00-NS 800G OSFP SR8 для кластеров со смешанным расстоянием.
• Увеличенная дальность без премиальной стоимости: Используя стандартное многомодовое волокно и возможности настройки DSP, описанные в техническом описании MMA4Z00-NS, команда достигла дальности 80 метров при значительно меньших затратах, чем одномодовые альтернативы. Это напрямую решило уравнение "пропускная способность против расстояния" проекта.
• Гибкость протокола: Возможность переключения между режимами InfiniBand и Ethernet через конфигурацию прошивки означала, что одна и та же физическая инфраструктура могла поддерживать трафик вычислений GPU и трафик управления хранилищем – функция, которую не предлагал ни один другой трансивер в ходе оценки.
• Энергоэффективность и тепловой режим: При потреблении менее 12 Вт на порт MMA4Z00-NS способствовал общему снижению энергопотребления кластера примерно на 2,8 кВт по сравнению с альтернативной конструкцией на базе DR8, значительно облегчая требования к охлаждению в стойках высокой плотности.

Измерения задержки сети показали стабильный вклад трансивера менее 100 нс, что полностью соответствовало допускам, необходимым для распределенных рабочих нагрузок обучения ИИ. Провайдер также отметил, что доступность MMA4Z00-NS для продажи через их существующий канал дистрибуции ускорил сроки закупок, сократив время выполнения заказа с восьми недель до трех.

Резюме и перспективы

Развертывание MMA4Z00-NS в этом крупномасштабном кластере ИИ демонстрирует, что архитекторам дата-центров больше не нужно выбирать между высокой пропускной способностью и практической дальностью при проектировании межсоединений. NVIDIA Mellanox MMA4Z00-NS успешно преодолевает разрыв в расстоянии внутри стойки и между комнатами, доказывая, что хорошо настроенный трансивер 800G SR8 может обеспечить безошибочную работу за пределами своего типичного диапазона спецификаций при использовании с соответствующими кабелями и оптимизацией DSP.

Заглядывая в будущее, провайдер оценивает цену MMA4Z00-NS за порт в рамках своего более широкого плана расширения для дополнительных зон доступности, причем ранние отзывы свидетельствуют о том, что общая стоимость владения, учитывая упрощение инвентаризации, экономию энергии и гибкость развертывания, делает этот модуль сильным кандидатом для стандартизации во всем парке глобальных дата-центров. Поскольку отрасль движется к 1,6 Т и выше, практические уроки, извлеченные из этого развертывания – балансировка пропускной способности, расстояния и стоимости – останутся весьма актуальными, а MMA4Z00-NS служит эталонной моделью того, как должны проектироваться и развертываться оптики следующего поколения.