NVIDIA Mellanox MMA4Z00-NS Оптический модуль центра обработки данных Техническое решение

Это техническое решение предназначено для сетевых архитекторов, инженеров по предпродажной подготовке и менеджеров по эксплуатации. Он сосредоточен наNVIDIA Мелланокс MMA4Z00-NSОптический модуль центра обработки данных, решающий реальную проблему балансировки высокой пропускной способности с ограниченной досягаемостью по многомодовым оптоволоконным каналам внутри стойки и между кампусами. В следующих разделах рассматриваются проектирование архитектуры, ключевые технологии, модели развертывания и лучшие практики эксплуатации.

1. Предыстория проекта и анализ требований

Современные обучающие кластеры искусственного интеллекта и среды высокопроизводительных вычислений генерируют беспрецедентный трафик с востока на запад. Типичному модульу искусственного интеллекта среднего размера может потребоваться соединение 800G между серверами графического процессора в одной стойке и одновременно потребуются каналы агрегации 400G с островом хранения, расположенным на расстоянии 200–300 метров в другом здании или зале обработки данных. Основной конфликт возникает из-за ограничений физического уровня: стандартное многомодовое оптоволокно OM4 поддерживает 800G (через 8×100G PAM4) только на расстоянии примерно 50–70 метров, что намного меньше требований между кампусами. Замена существующей многомодовой инфраструктуры одномодовым оптоволокном часто является непомерно дорогостоящей и разрушительной для эксплуатации.

Ключевые требования, определенные большинством архитекторов, включают в себя: (а) поддерживать полосу пропускания 800G для соединений между графическим процессором и коммутатором с малой дальностью действия, (б) расширить зону действия до 200+ метров, используя существующее оптоволокно OM4 для каналов между кампусами, (в) свести к минимуму типы модулей, чтобы уменьшить экономию сложности, и (г) обеспечить унифицированное управление и диагностику.ММА4Z00-НСнапрямую удовлетворяет всем четырем требованиям благодаря возможности работы в двух режимах.

2. Общий проект архитектуры сети и системы.

Предлагаемая архитектура соответствует двухуровневой топологии листового позвоночника с гибридной конструкцией физического уровня. В каждой стойке вычислительные узлы графического процессора подключаются к конечным коммутаторам с помощьюMMA4Z00-NS 800G OSFP SR8 трансиверв режиме полного 800G по оптоволокну OM4 (≤50 м). Для межкампусных соединений между оконечными коммутаторами в здании A и коммутаторами магистрали/хранилища в здании B (на расстоянии 200–300 м) то же самоеNVIDIA Мелланокс MMA4Z00-NSмодули переконфигурируются вMMA4Z00-NS 2x400G InfiniBand/Ethernetрежим прорыва. Это позволяет одному волокну MPO-16 передавать два независимых сигнала 400G, эффективно удваивая радиус действия при сохранении полосы пропускания для каждого канала.

• Внутристойочный домен:Режим 800G SR8, до 8 линий PAM4 × 100G, задержка менее 90 нс.
• Межкампусский домен:Режим прорыва 2×400G, каждый канал 400G работает с ослабленной модальной дисперсией, увеличивая эффективную дальность действия до 200–300 м на OM4.
• Единая ткань:И InfiniBand (для кластеров графических процессоров), и Ethernet (для хранения/управления) поддерживаются без изменений оборудования.

Архитектура устраняет необходимость в отдельных модулях дальней связи или преобразовании одномодового волокна. Один тип модуля обслуживает оба дистанционных режима, упрощая инвентаризацию и резервирование.

3. Роль и ключевые особенности NVIDIA Mellanox MMA4Z00-NS

ММА4Z00-НСдействует как оптический мост между доменами 800G ближнего радиуса действия и расширенными доменами 2×400G. СогласноТехнические характеристики MMA4Z00-NS, параллельная оптика на основе VCSEL и усовершенствованная цифровая обработка сигналов обеспечивают важные возможности:

• Двухскоростная, двухрежимная работа:Программный выбор между 800G SR8 и 2×400G без аппаратной реконфигурации.
• Расширенный бюджет ссылок:При работе со скоростью 400G на канал чувствительность приемника увеличивается примерно на 3 дБ по сравнению с режимом 800G, что напрямую приводит к увеличению дальности действия по тому же волокну OM4.
• Протокольный агностицизм:Полностью поддерживает InfiniBand и Ethernet, проверено с коммутаторами NVIDIA Quantum-2 и Spectrum-4.
• Диагностическая телеметрия:Мониторинг оптической мощности, температуры, напряжения и запасов связи в режиме реального времени через стандартные интерфейсы управления OSFP.

Для архитекторов, рассматривающихТехническое описание MMA4Z00-NSКлючевым выводом является то, что этот единственный модуль заменяет два отдельных типа продуктов (800G SR8 + 400G FR4 или двунаправленные модули), сокращая как капитальные, так и эксплуатационные затраты.

4. Рекомендации по развертыванию и масштабированию (с типовой топологией)

Типичное описание топологии:Два зала передачи данных (A и B), разделенные 250-метровым темным многомодовым оптоволокном OM4. В зале А расположены 16 стоек с графическими процессорами, каждая из которых имеет 8 вычислительных узлов и 2 конечных коммутатора. В зале B расположены массивы хранения данных и коммутаторы. Каждый лепестковый выключатель в зале А оснащенММА4Z00-НСмодули: порты 1–8 настроены как 800G SR8 для соединений внутри стойки; порты 9–12 настроены как коммутационные линии 2×400G для восходящих каналов между кампусом в зал B. На обоих концах используется модуль одного и того же типа.

Шаги развертывания:

• Шаг 1. ПодтвердитеСовместимость с MMA4Z00-NSсостояние существующих коммутаторов (версия прошивки и поддержка клетки OSFP).
• Шаг 2. Физически установите модули и магистральные кабели MPO-16. Для режима прорыва смена полярности не требуется.
• Шаг 3. Настройте скорость и режим порта через интерфейс командной строки коммутатора или графический интерфейс управления — установите для портов ближнего действия значение 800G SR8, для портов между кампусами — значение 2 × 400G.
• Шаг 4. Запустите проверку бюджета оптического канала с помощью встроенной диагностики.MMA4Z00-NS 800G Решение для приемопередатчика OSFP SR8обеспечивает мощность Rx для каждой линии и BER перед FEC.

Масштабирование:По мере роста кластера ИИ параллельно добавляются дополнительные модули. Потому что то же самоеММА4Z00-НСработает для обеих ролей, масштабирование не требует прогнозирования сочетания коротких и длинных ссылок — любой модуль может быть назначен любой роли во время развертывания.

5. Эксплуатация, мониторинг, устранение неполадок и оптимизация.

ММА4Z00-НСинтегрируется со стандартными стеками телеметрии центров обработки данных. Ключевые эксплуатационные практики включают в себя:

• Ссылка на мониторинг здоровья:Опрос оптической мощности Tx/Rx, тока смещения и температуры для каждой линии через SNMP или Redfish. Номинальная мощность приема должна составлять от -4 дБм до +2 дБм для режима 800G и всего -7 дБм для режима 2×400G благодаря пониженной чувствительности.
• Отслеживание FEC и BER:Модуль сообщает частоту битовых ошибок до FEC. Для длинных каналов 2×400G BER до FEC, равный 1e-8 или ниже, считается работоспособным.
• Распространенное устранение неполадок:Если соединение между кампусами не удается обучить, убедитесь, что оба конца настроены на режим коммутации (не 800G). ИспользуйтеТехническое описание MMA4Z00-NSруководство по полярности для кабелей MPO-16 — некоторые типы полярности (например, тип B) требуют специального сопряжения.
• Совет по оптимизации:Для линий связи, приближающихся к 300 м, уменьшите температуру окружающей среды рядом с корпусами приемопередатчиков, чтобы улучшить соотношение сигнал/шум. Каждое снижение температуры на 10°C может повысить эффективность VCSEL примерно на 5%.

Для управления закупками и жизненным циклом команды должны отслеживатьЦена MMA4Z00-NSтенденции и коэффициент резервирования запасов 1:20 (один запасной на 20 развернутых). Учитывая двухрежимную гибкость модуля, один и тот же запасной модуль может заменить вышедший из строя блок как на короткой, так и на большой дистанции.

6. Резюме и оценка стоимости

NVIDIA Мелланокс MMA4Z00-NSпредлагает уникальное ценностное предложение: один оптический модуль, который охватывает как высокоскоростные каналы кампуса ближнего радиуса действия, так и каналы дальнего действия, не требуя замены волоконно-оптической системы. Для архитекторов и ИТ-менеджеров, оценивающихMMA4Z00-NS на продажуили запросить образцы, ключевые выводы:

• Снижение капитальных затрат:Устраняет отдельные модули дальней связи 400G, сокращая расходы на оптические кабели на 30–40 % в конструкциях со смешанными расстояниями.
• Упрощение операционных расходов:Один артикул для запасного инвентаря, унифицированной диагностики и единообразной прокладки кабелей.
• Перспективность:MMA4Z00-NS 800G Решение для приемопередатчика OSFP SR8поддерживает как сегодняшние кластеры 800G, так и завтрашние фабрики 2×400G.
• Операционная гибкость:Программно выбираемые режимы позволяют сбалансировать полосу пропускания в зависимости от расстояния без замены оборудования.