Техническое решение оптического трансивера NVIDIA Mellanox MMA4Z00-NS для центров обработки данных

NVIDIA Mellanox MMA4Z00-NS Техническое решение оптического передатчика для центра обработки данных.

1. Анализ контекста и требований проекта

Поскольку объемы работы в области искусственного интеллекта (ИИ) и высокопроизводительных вычислений (HPC) продолжают увеличиваться,базовая сетевая инфраструктура должна развиваться для поддержки скоростей доступа 800G Ethernet и 400G InfiniBandАрхитекторы центров обработки данных теперь сталкиваются с критической задачей проектирования физического уровня: how to deliver 800G bandwidth across varying distances — from intra-rack connections (2–5 meters) to cross-aisle links (30–60 meters) and even inter-row or inter-building connections (up to 100 meters) — without proliferating transceiver typesТрадиционный подход выбора различных оптических модулей для каждого уровня расстояния (например, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия, SR8 для короткого радиуса действия)DR8/FR8 для расширенного охвата) вводит операционную сложность и увеличивает риск неправильного обеспечения, когда модуль короткого доступа непреднамеренно развертывается на более длинной ссылке, вызывая непредсказуемые скорости бит-ошибок (BER).

Эта проблема усугубляется тремя одновременными тенденциями в отрасли.широкое распространение форм-фактора OSFP (Octal Small Form Factor Pluggable) как на коммутаторах Ethernet, так и на коммутаторах InfiniBand создало общий интерфейс, но не все OSFP-передатчики обеспечивают стабильную производительность на мультимодном волоконном покрытии со скоростью 800G PAM4. Во-вторых, требования по устойчивому развитию снижают потребление энергии в порту,поскольку высокая плотность коммутаторов с 32 или 64 портов OSFP может потреблять значительную мощность, если передатчики не оптимизированыВ-третьих, оперативные команды требуют единообразных диагностических возможностей для всех оптических линий, чтобы упростить мониторинг и сократить среднее время до ремонта (MTTR).Необходимо структурированное техническое решение, которое стандартизирует на едином уровне., хорошо характеризующийся 800G SR8 приемопередатчик, обеспечивающий четкие руководящие принципы для планирования расстояния, проверки бюджета ссылки и проактивного управления состоянием здоровья как по Ethernet, так и по InfiniBand тканям.

2. Общий дизайн сетевой / системной архитектуры

Предлагаемая архитектура использует двухуровневую топологию спинно-листового типа с портами 800G OSFP, служащими основным интерфейсом доступа для вычислительных узлов GPU и систем хранения данных.обычно оснащенные 32 или 64 портами OSFP, подключается к расходным коммутаторам через 800G или 1.6T, в то время как расходные порты выделяются вычислительным узлам и контроллерам хранения данных, распределенным по нескольким стойкам и проходам.Максимизировать использование портов и уменьшить отпечатки переключателей, архитектура использует конфигурации 2×400G: один порт 800G OSFP разделен на два независимых соединения 400G, каждое из которых заканчивается на отдельном сервере GPU или конечном пункте хранения.Эта конструкция эффективно удваивает эффективную плотность порта листа, что особенно ценно в средах с большим количеством графических процессоров, где пространство в стойках имеет преимущество.

Физическое кабелирование между коммутаторами и конечными точками осуществляется с использованиемNVIDIA Mellanox MMA4Z00-NSкак стандартизированный оптический передатчик 800G для всех мультимодных волоконных линий до 65 метров.MMA4Z00-NS 800G OSFP SR8 передатчикработает по OM4 (50 метров) и OM5 (70 метров) мультимодным волокнам с использованием 8 параллельных полос на 100G PAM4 на полосу,Соответствует спецификациям Ethernet 800GBASE-SR8 и 400G-SR4, а также скоростям передачи данных InfiniBand HDR и NDR. Возможность модуля с двумя протоколами, поддерживающей как Ethernet, так и InfiniBand без реконфигурации прошивки, позволяет создавать единую оптическую стратегию для гетерогенных тканей,сокращение количества SKU-передатчиков, требуемых в средах смешанного протокола.

Архитектура также включает стандартизированный дизайн волоконного завода с использованием разъемов MPO-12 и широкополосного мультимодного волокна OM5 для всех новых установок,с положениями о повторном использовании существующей инфраструктуры OM4 для более коротких линий, если это позволяет маржа связиДанная конструкция обеспечивает перекрестную связь любого порта OSFP с любой конечной точкой в пределах 65-метрового диапазона, обеспечивая максимальную гибкость для ребалансировки мощности и циклов обновления оборудования.В руководстве по проектированию ссылаются наСпецификации MMA4Z00-NSдля радиуса изгиба (минимум 30 мм динамической), чистоты соединителей (по IEC 61300-3-35) и бюджетов по потерям вставки (максимум 3,0 дБ в общей сложности для всей связи, включая соединители и сцепления).

3. Роль и ключевые особенности NVIDIA Mellanox MMA4Z00-NS в решении

В рамках этой архитектурыMMA4Z00-NS 800G OSFP SR8 передатчикФункционирует как стандартизированный оптический интерфейс, который соединяет электрическую область коммутатора / адаптера с инфраструктурой оптического волокна.Ее ключевые технические особенности имеют решающее значение для успеха стратегии единого СКУ:

• Операция с двойным протоколом:Поддерживает как 800G Ethernet (800GBASE-SR8), так и 400G InfiniBand (NDR) с автоматическим обнаружением, что позволяет создать единый инвентарь передатчиков на гетерогенных тканях.
• Нативная возможность прорыва 2×400G:ВMMA4Z00-NS 2x400G InfiniBand/EthernetМод позволяет одному порту OSFP питать две независимые конечные точки 400G с использованием кабельной сборки MPO-12 на 2 × MPO-8, исключая необходимость в внешних модулях вентилятора.
• 850nm VCSEL массив с 8 полосами:Обеспечивает надежную оптическую выходной мощность (типично -2,0 до +4,0 дБм на полосу) с низким относительным уровнем шума (RIN), поддерживая чистые глазные диаграммы по мультимодному волокну при 100G PAM4.
• Массив высокочувствительных ПИН-приемников:Типичная чувствительность -5,5 дБм на полосу, обеспечивающая маржу связи не менее 3,0 дБ на OM5 на расстоянии 70 метров, учитывая потери соединителей и старение.
• Энергоэффективность:Типичное потребление менее 10,5 Вт в режиме 800 Г и примерно 8,2 Вт в режиме выхода 2 × 400 Г, что позволяет создавать плотное портное устройство без превышения тепловых бюджетов.
• Интегрированный цифровой диагностический мониторинг (DDM):Отчет в режиме реального времени о мощности Tx, мощности Rx, температуре, напряжении и потоке смещения для каждой полосы через стандартный интерфейс управления I2C;позволяет активно обнаруживать неисправности и устранять неполадок на уровне полосы движения;.
• Широкий диапазон температур работы:Температура корпуса от 0°C до 70°C, обеспечивающая надежную работу в условиях высокой плотности с повышенной температурой окружающей среды.

Эти особенности всесторонне задокументированы вЛист данных MMA4Z00-NS, который включает в себя маски с глазными диаграммами, кривые терпимости к джипту и механические чертежи для интеграции в инструменты планировки шкафов. The datasheet also provides detailed link budget tables that are referenced during the architectural planning phase to validate that each link's total insertion loss remains within the module's optical budget.

4. Рекомендации по развертыванию и масштабированию (с описанием типичной топологии)

Для первоначального развертывания мы рекомендуем структурированный подход к зонированию, который отображает уровни расстояния к стандартизированным типам кабелей и обеспечивает последовательный марж связи во всех соединениях.Следующая типичная топология используется для 32-портового переключателя листья, обслуживающего 64 узла GPU в восьми шкафах (8 узлов на шкаф), с расстояниями между кабинетами от 5 до 50 метров:

• Зона А (внутренняя трасса, 2 ‰ 5 м):Прямые патчевые кабели MPO-12 от переключателя листья (в том же шкафу) к узлам графического процессора.
• Зона В (соседние шкафы, 820 метров):Структурированная кабельная система OM5 с помощью наземных панелей из волоконного волокна с промежуточными пластинками.
• Зона С (поперечный коридор / между рядами, 2550 метров):Предварительно завершенные стволы OM5 с фабрично отполированными разъемами, направляемыми под поднятые полы.
• Зона D (между зданиями кампуса, 50-65 метров):Используется только для коротких соединений кампуса, где существует инфраструктура OM5.и проверка маржа мощности во время ввода в эксплуатацию.

Масштабирование за пределы одного модуля следует тем же принципам зонирования, с добавлением промежуточных коммутаторов агрегации, которые заканчивают 800G-ссылки доступа из нескольких модулей.MMA4Z00-NS 800G OSFP SR8 решение для приемопередатчикаиспользует единый SKU с возможностью использования двух протоколов, расширение не требует прогнозирования типов передатчиков на протокол или расстояние.Это упрощает логистику и позволяет команде операций поддерживать небольшой буферный запас запасных передатчиков (обычно 5% развернутых единиц) для быстрой замены во время технического обслуживания.

Для планирования расстояний в следующей таблице приведены рекомендации по максимальной протяженности радиуса охвата на основе типа волокна и бюджета связи:

При развертывании на расстояниях, приближающихся к максимальному охвату, мы рекомендуем проводить измерение оптической мощности во время ввода в эксплуатацию с помощью источника света и счетчика мощности,Сравнение измеренных потерь с бюджетом, рассчитанным наЛист данных MMA4Z00-NSЭтот этап проверки гарантирует, что любые дефекты кабеля или загрязнение обнаруживаются до того, как связь будет введена в производство.

5. Операции и обслуживание: мониторинг, устранение неполадок и оптимизация

Операционный жизненный цикл оптической инфраструктуры на базе MMA4Z00-NS требует систематического подхода к мониторингу и управлению неисправностями, используя возможности DDM на уровне полосы движения модуля.Рекомендуется интегрировать интерфейс управления I2C в центральную систему управления сетью (NMS) с использованием стандартного CMIS (Common Management Interface Specification) для модулей OSFPКлючевые пороги для настройки проактивных предупреждений включают:

• Деградация мощности Tx:Уведомление, если выходная мощность на любой полосе падает более чем на 2,0 дБ от номинальной, что указывает на потенциальное старение VCSEL или загрязнение соединителя на стороне передачи.
• Rx предельная мощность:Предупреждение, если принимаемая мощность на любой полосе приближается к -5,0 дБм (с чувствительностью до -5,5 дБм), что указывает на чрезмерную потерю связи, повреждение кабеля или неисправное выравнивание разъёма MPO.
• Экскурсии по температуре:Уведомление, если температура корпуса превышает 65°C, что указывает на препятствие воздушного потока, сбой вентилятора или повышение температуры окружающей среды.
• Движение потока с уклоном:Следить за изменениями лазерного потока с течением времени; устойчивое увеличение выше 30% номинального на любой полосе может указывать на деградацию VCSEL.

В случае деградации или сбоя связи следует следовать структурированному протоколу устранения неполадок:

1. Проверьте показания DDM на уровне полосы движения, чтобы выделить, какая из 8 полос движения страдает от деградации; сравните значения Tx и Rx с ожидаемыми диапазонами отСпецификации MMA4Z00-NS.
2. Проверить соединители MPO на обоих концах с помощью микроскопа конца; очистить, если обнаружено загрязнение в соответствии со стандартами IEC 61300-3-35, уделяя особое внимание любой отдельной пострадавшей полосе.
3. Испытайте связь с хорошо известным передатчиком MMA4Z00-NS, чтобы подтвердить, находится ли ошибка в модуле или на волоконном заводе.
4. Если проблема сохраняется на определенной полосе, выполните испытание OTDR или используйте диагностическую петлю, чтобы изолировать ошибку либо на пути волоконного канала, либо на внутреннем оптическом пути передатчика.

Возможности оптимизации включают периодические аудиты управления кабелями для обеспечения соблюдения минимального радиуса изгиба и проверки того, что облегчение напряжения соединителей MPO не подвергается риску.Потому чтоЦена MMA4Z00-NSявляется конкурентоспособным с другими квалифицированными модулями 800G SR8;Мы рекомендуем поддерживать небольшой запас запасных передатчиков (примерно 5% от общего количества развернутых единиц), чтобы обеспечить быструю замену и минимизировать MTTRДля крупномасштабных развертываний следует рассмотреть возможность внедрения автоматизированных оптических панелей управления состоянием здоровья, которые объединяют данные DDM на уровне полосы движения по всем связям, что позволяет осуществлять предсказуемое обслуживание и планирование мощностей.

6. Резюме и оценка стоимости

ВNVIDIA Mellanox MMA4Z00-NS-основанное техническое решение обеспечивает прагматичную, проверенную на местах методологию для балансирования пропускной способности и расстояния в сетях доступа к центрам обработки данных 800G.IEEE-совместимый OSFP SR8 приемопередатчикMMA4Z00-NS 800G OSFP SR8 передатчик- архитектура устраняет сложность управления несколькими SKU для разных уровней и протоколов расстояния, сокращает запас запасных частей и упрощает планирование развертывания.Технология 850nm VCSEL модуля, в сочетании с высокочувствительным массивом PIN-приемников, обеспечивает надежную производительность через OM4 и OM5 мультимодные волокна до 70 метров,охватывает подавляющее большинство внутрицентровых ссылок при поддержке как Ethernet, так и InfiniBand.

Ключевые показатели стоимости, полученные при сравнимом развертывании, включают:

• Сокращение запасов:Один приемник-передатчик SKU заменяет четыре номера деталей, специфичных для расстояния/протокола (например, SR8, SR4, DR8, FR8), что снижает логистические налоги на 60−70%.
• Энергоэффективность:При < 10,5 Вт в режиме 800G и < 8,2 Вт в режиме выхода 2 × 400G MMA4Z00-NS способствует снижению затрат на охлаждение и улучшению PUE.
• Надежность работы:Проактивный мониторинг с поддержкой DDM на уровне полосы движения снижает MTTR до 60% для сбоев оптического слоя.
• Оптимизация затрат:ВЦена MMA4Z00-NSявляется конкурентоспособным с другими квалифицированными 800G SR8 модулями, в то время как его возможности двойного протокола и поддержка natively breakout исключают дополнительные затраты на квалификацию и внешнее оборудование.

Для сетевых архитекторов и инженерных лидеров MMA4Z00-NS предлагает оптический интерфейс "настроить и забыть", который обеспечивает постоянную производительность при изменении температуры и механических нагрузках.Решение особенно рекомендуется для зеленых ИИ центров обработки данных, планирующих стандартизированные сети доступа 800GПоскольку 800G Ethernet и 400G InfiniBand продолжают набирать популярность в AI, HPC,и корпоративные среды хранения, оптическая архитектура, основанная на MMA4Z00-NS, обеспечивает надежную, масштабируемую основу, которая соответствует как текущим эксплуатационным ограничениям, так и долгосрочным дорожным планам мощности.

Подробные рекомендации по интеграции, данные теплового моделирования и пакеты сертификации соответствия приведены в официальной документации продукта.