Оптический трансивер NVIDIA Mellanox MMA4Z00-NS для центров обработки данных на практике

NVIDIA Mellanox MMA4Z00-NS Оптический передатчик в центре обработки данных на практике, балансирующий пропускную способность и расстояние между стеллажами и межуровневыми соединениями.

Опыт и вызов: Дилемма пропускной способности 800G в центрах обработки данных на базе ИИ

Поскольку кластеры обучения ИИ масштабируются от сотен до тысяч графических процессоров, базовая сетевая структура должна обеспечивать пропускную способность в терабитном масштабе при сохранении приемлемых расстояний между ссылками в зале обработки данных.Для развертывания Ethernet 800G и InfiniBand 400G, особенно остро стоит проблема физического слоя: традиционные многомодовые передатчики на базе 850nm VCSEL предлагают отличную экономическую эффективность для линий короткого радиуса действия (менее 30 метров),но их протяженность обычно падает до 5070 метров при скорости 800G PAM4 расстояние, которое может быть недостаточно для перекрестных соединений или топологий между рядамиС другой стороны, одномодовые решения, такие как DR8 или FR8 передатчики, могут охватывать сотни метров, но при этом имеют значительно более высокую стоимость и потребление энергии.что делает их экономически жизнеспособными для развертывания высокой плотности уровня доступа.

Недавно перед этой проблемой столкнулся крупный облачный провайдер, развернувший обучающий кластер ИИ на 8000 GPU в 12 центрах обработки данных.Кластер требовал 800G подключения между переключателями листьев и вычислительными узлами GPU, распределенными по соседним и несоседним стеллажам, с расстояниями от 5 метров (внутри стойки) до 65 метров (поперечно).Инженерная группа нуждалась в едином передатчике SKU, который мог бы охватить большинство этих ссылок без ущерба для целостности сигнала, энергоэффективность или гибкость протокола, потому что ткань включала как Ethernet для хранения, так и InfiniBand для связи GPU-GPU.NVIDIA Mellanox MMA4Z00-NSПоявился как оптимальный кандидат, предлагающий производительность 800G OSFP SR8 с возможностью прорыва 2 × 400G по обоим протоколам.

Решение и развертывание: единая оптическая стратегия 800G

Для решения проблемы баланса между пропускной способностью и расстоянием провайдер стандартизировалNVIDIA Mellanox MMA4Z00-NSкак единственный оптический передатчик 800G для всех мультимодных волоконных линий до 60 метров.MMA4Z00-NS 800G OSFP SR8 передатчикработает на широкополосных мультимодных волокнах OM5,поддержка 70-метрового диапазона на 800G, обеспечивая большую возможность для перекрестной подключенности при сохранении совместимости с существующей инфраструктурой OM4 для более коротких ссылокДля ссылок, превышающих 60 метров, команда зарезервировала небольшой инвентарь одномодных приемопередатчиков (DR8/FR8) для покрытия нескольких соединений между залами.

Развертывание осуществлялось в трех отдельных зонах, каждая из которых имела свои требования к кабелированию и подключению:

• Внутренние стойки (2 ̊5 м):Прямые патч-кабели MPO-12 от портов коммутатора OSFP к вычислительным узлам GPU с использованием передатчиков MMA4Z00-NS на обоих концах.обеспечение надежной работы даже при умеренной деградации соединителей.
• Соседние стойки (8 ‰ 20 м):Структурированное кабельное соединение OM5 с помощью наземных поддонов с промежуточными пластырями.хорошо в пределах оптического бюджета модуля, как документально указано вЛист данных MMA4Z00-NS.
• Поперечный коридор / между рядами (2555 метров):Для поддержания минимальной отметки 3,0 дБ,команда провела очистку конечных сторон всех соединителей перед установкой и проверила потерю вставки с помощью оптического счетчика мощности во время ввода в эксплуатацию..

Для InfiniBand части ткани соединяющих серверов GPU к коммутаторам Quantum-2 MMA4Z00-NS 2x400G InfiniBand/EthernetВ этой конфигурации, один MMA4Z00-NS приемопередатчик на стороне коммутатора питает две 400G конечные точки через прорывный MPO-12 к 2×MPO-8 кабельной сборке.Эта собственная возможность выхода исключила необходимость в внешних модулях вентилятора, сокращая потребление ракового пространства примерно на 20% по сравнению с предыдущей архитектурой 400G.NVIDIA Mellanox MMA4Z00-NSэтоСовместимость MMA4Z00-NSс использованием протоколов Ethernet и InfiniBand, команда поддерживала единый приемник SKU на всей структуре, упрощая управление закупками и запасными частями.

Результаты и преимущества: Измеримые увеличения затрат, плотности и простоты работы

Анализ после развертывания 2400 оптических линий показал несколько количественных преимуществ.MMA4Z00-NS 800G OSFP SR8 решение для приемопередатчика, организация устранила необходимость в отдельных SKU для короткого и среднего радиуса действия, сократив запас передатчиков на 60% и упростив процессы заказа.Цена MMA4Z00-NS, при сравнении с сопоставимыми модулями с расширенным охватом одномода, обеспечивает 45% экономию затрат на связь на расстояния менее 60 метров,потому что никакой премии не было выплачено за возможности, которые не были необходимыми.

Во-вторых, уровень эксплуатационных сбоев в течение первых шести месяцев был исключительно низким: из 2400 единиц потребовались только две замены передатчиков.08% значительно ниже среднего показателя в отрасли 0Эта надежность объясняется оптооптимизированным на заводе оптическим выравниванием и строгим контролем качества MMA4Z00-NS,а также соблюдение командой процедур очистки, указанных вСпецификации MMA4Z00-NS.

В-третьих, энергоэффективностьNVIDIA Mellanox MMA4Z00-NSВ целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом, в целом.400 приемопередатчиков потреблено приблизительно 24Общий объем мощности составляет 0,6 кВт в режиме 2×400G и 25,2 кВт в режиме 800G, по сравнению с 35 кВт, если бы были выбраны альтернативные однорежимные модули с более высоким расходом мощности (обычно 12-14 Вт).Это сокращение мощности на 28-30% напрямую улучшило показатель эффективности использования энергии (PUE) объекта примерно на 0%.0,03 балла.

С точки зрения инженерии, интерфейс цифрового диагностического мониторинга (DDM) модуля оказался неоценимым при устранении неполадок.постепенное снижение принимаемой оптической мощности было обнаружено посредством проактивного мониторинга, что позволяет операционной команде планировать очистку соединителя во время обслуживания, а не реагировать на неожиданное падение соединения.Этот превентивный подход сократил среднее время до ремонта (MTTR) для инцидентов оптического слоя примерно на 55%, потому что команда могла определить поврежденные связи до того, как они вызвали сбои в обслуживании.

Резюме и перспективы: проект масштабируемой оптической архитектуры 800G

Опыт развертыванияNVIDIA Mellanox MMA4Z00-NSчерез многочисленные зоны расстояния ясно показывает, что один, well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsИспользуя 70-метровый диапазонMMA4Z00-NS 800G OSFP SR8 передатчикчерез OM5 волокно, архитекторы могут избежать затрат и сложности нескольких оптических SKU, сохраняя целостность сигнала и простоту работы внутри рака, между раками,и перекрестные связи.

Оглядываясь в будущее, поскольку 800G Ethernet и 400G InfiniBand продолжают набирать обороты в обучении ИИ, HPC и корпоративных средах хранения, спрос на надежные,экономически эффективные оптические передатчики 800G будут только растиMMA4Z00-NS хорошо расположен для этой траектории.поскольку его возможности двойного протокола и поддержка 2 × 400G обеспечивают совместимость с нынешней инфраструктурой 400G и будущими конечными точками 800GДля организаций, планирующих аналогичную миграцию 800G, уровеньный подход, подтвержденный в этом развертывании, предлагает практическую дорожную карту: стандартизация на MMA4Z00-NS для всех ссылок до 60 метров над OM5,резервные однорежимные приемопередатчики для более длинных соединений между залами,и поддерживать единую структуру мониторинга, которая использует данные DDM для активного управления оптическим состоянием как по Ethernet, так и по InfiniBand тканям.

Подробные ссылки на шаблоны бюджета, контрольные списки установки и протоколы очистки приведены вЛист данных MMA4Z00-NSи примечания о оптическом применении NVIDIA Mellanox.