Техническое решение оптического трансивера NVIDIA Mellanox MMA4Z00-NS для центров обработки данных

NVIDIA Mellanox MMA4Z00-NS Центр обработки данных Оптический приемопередатчик Техническое решение Балансировка полосы пропускания и расстояния в внутрираковых и межкомнатных связях

1. Анализ контекста и требований проекта

По мере того, как обучающие кластеры искусственного интеллекта увеличиваются от тысяч до десятков тысяч графических процессоров,Сети центров обработки данных сталкиваются с беспрецедентными проблемами в плотности пропускной способности и физическом расстоянии одновременноВозьмем, к примеру, типичный ИИ (интеллектуальный вычислительный центр).его вычислительные узлы GPU распределены по нескольким стойкам на одном этаже, а также по двум основным машинным помещениям на соседних этажахТребования к сети строги: предоставление 800G полной скорости линии между всеми вычислительными узлами,поддерживает как InfiniBand (для прямой связи с GPU), так и Ethernet (для хранения и управления тканями), и охватывают расстояния связи от 5 метров (внутри стойки) до 80 метров (между помещениями) без внедрения узких мест для перевода протокола.

Традиционные подходы к проектированию, как правило, опираются на смесь различных типов передатчиков: 800G SR8 для коротких внутрираковых ссылок (до 50 м над OM4),и 800G DR8/FR8 одномодные решения для более длинных межкомнатных соединенийОднако эта стратегия создает значительные операционные накладные расходы на управление запасами, тестирование квалификации и снабжение запасными частями.более высокая стоимость и энергопотребление одномодной оптики делают их не оптимальными для крупномасштабных, высокой плотности развертывания.NVIDIA Mellanox MMA4Z00-NSбыла оценена как потенциальное одноплатформенное решение, способное объединить оба дистанционных домена при сохранении гибкости протокола и эффективности затрат.

2. Общий дизайн сетевой/системной архитектуры

Предлагаемая архитектура использует топологию спинного листа с вычислительными узлами GPU, подключенными к коммутаторам листов через порты 800G OSFP,и листья переключатели подключены к спинным переключателям с использованием того же типа передатчика для поддержания последовательностиКлючевым архитектурным решением было стандартизировать на единой оптической моделиNVIDIA Mellanox MMA4Z00-NS- на всех сегментах связи, от внутрихранилищ до помещений, используя расширенный DSP и бюджет оптической мощности для расширения эффективного охвата за пределы стандартной спецификации 50 метров.

Для максимизации целостности сигнала на больших расстояниях архитектура включает в себя несколько принципов проектирования:

• Оптимизация заводов по производству волокна:Использование высококачественного мультимодного волокна OM4 (минимальная эффективная модальная полоса пропускания ≥ 4700 МГц·км) для всех ссылок с разъемами MPO-12 APC для минимизации потерь вставки и обратного отражения.Структурированные кабельные пути предназначены для предотвращения тесных изгибов и чрезмерных прыжков пластырей.
• Ссылка на бюджетный резерв:Бюджет архитектурных потерь поддерживается ниже 3,0 дБ для всех звеньев, обеспечивая достаточный отрыв дляMMA4Z00-NSдля работы без ошибок даже на расстоянии 80 метров. Это достигается путем ограничения количества пар соединителей на максимум четыре на связь.
• Протокольно-агностическая передача:Листовые коммутаторы (NVIDIA Spectrum-4 для Ethernet и Quantum-2 для InfiniBand) настроены на распознаваниеMMA4Z00-NS 2x400G InfiniBand/Ethernetоперационный режим, позволяющий назначать динамический протокол на порт без изменений аппаратного обеспечения.

Архитектура поддерживает как однораковое, так и многораковое развертывание.MMA4Z00-NSслужит универсальным физическим слоем, обеспечивающим доступ на всех расстояниях.

3. Роль NVIDIA Mellanox MMA4Z00-NS и ключевые характеристики

В основе этого решения лежитNVIDIA Mellanox MMA4Z00-NSФункционирует как единый физический слой моста, исключая необходимость в нескольких типах передатчиков.

Подробная информацияЛист данных MMA4Z00-NSобеспечивает всеобъемлющие оптические и электрические спецификации, включая характеристики передатчика и приемника,которые использовались для проверки расчетов бюджета связи для всех сегментов этого развертывания.Спецификации MMA4Z00-NSподтвердить типичную мощность передачи от -2,5 до 4,0 дБм и чувствительность приемника от -6,5 дБм (BER 5E-8), обеспечивая оптическое пространство, необходимое для 80-метровой цели.

ФункциональноMMA4Z00-NS 800G OSFP SR8 передатчикработает путем агрегирования восьми полос электрических сигналов 100G PAM4 от коммутатора ASIC, преобразования их в оптические сигналы и передачи по параллельному мультимодовому волокну через интерфейс MPO-12.На стороне приема, интегрированный DSP выполняет часы и восстановление данных, выравнивание и демультиплексирование обратно в электрическую область.Этот процессорный трубопровод имеет решающее значение для поддержания целостности сигнала на больших расстояниях, где рассеяние и ослабление модального эффекта в противном случае снижают производительность.

4. Рекомендации по развертыванию и масштабированию (с типичной топологией)

Для оптимального использованияNVIDIA Mellanox MMA4Z00-NS, рекомендуются следующие рекомендации по топологии и кабелированию:

Типичная топология Трехуровневое масштабирование:

• Уровень 1 (внутренние стойки, ≤ 15 м):Прямые патч-коды MPO-12 между вычислительными узлами графического процессора и переключателями верхнего уровня (TOR).MMA4Z00-NSНе требуется дополнительного кондиционирования.
• 2 уровень (кросс-рек, 15 45 м):Предварительно завершенные стволовые кабели MPO, проходящие через верхние поддоны, соединяющие коммутаторы TOR с коммутаторами агрегации листьев. Допускается до двух пластырей.
• Третий уровень (межкомнатный, 4580 м):Структурированные кабели с усиленными стволами MPO, с использованием под углом полированных разъемов и минимального сплайсинга. Каждое звено проверяется на потерю вставки и отражательность перед пуском в эксплуатацию.

Контрольный список размещения:

• Проверка всех волоконно-волоконных связей с использованием оптического рефлектометра временного домена (OTDR) и счетчика мощности для подтверждения потерь ниже 3,0 дБ.
• Конфигурируйте порты коммутатора на желаемый протокол (InfiniBand или Ethernet) и убедитесь, чтоMMA4Z00-NSавтоматически согласовывает правильный режим работы поЛист данных MMA4Z00-NS.
• Для смешанных сред 400G/800G включить режим разделенности 2×400G на выбранных портах, позволяяMMA4Z00-NS 2x400G InfiniBand/Ethernetспособность поддерживать два 400G соединения от одного передатчика.
• Развернуть поэтапно: начать с одной стойки, проверить BER и показатели задержки, а затем расширить на кросс-станок и межкомнатные связи.

Для крупномасштабного расширения за пределы 80 метров архитектура рекомендует позиционировать активный оптический кабель (AOC) или одномодовые решения только для самых длинных магистральных связей, сохраняя при этомMMA4Z00-NS 800G OSFP SR8 решение для приемопередатчикадля подавляющего большинства соединений "лист-позвоночник" и "вычислитель-лист".

5. Операции, мониторинг, устранение неполадок и оптимизация

ВMMA4Z00-NSпредназначен для простоты работы, с всеобъемлющей поддержкой цифрового диагностического мониторинга (DDM) через интерфейс I2C. Ключевые операционные практики включают:

• Мониторинг в реальном времени:Платформы управления сетью NVIDIA могут подавать предупреждения при приближении порогов,позволяющее осуществлять проактивное обслуживание.
• Маржинальность ссылки:Используйте возможности настройки DSP для выполнения тестов маржинальности ссылок во время установки и в рамках ежеквартальных проверок состояния.MMA4Z00-NSподдерживает настройки выравнивания по требованию через прошивку, которая может компенсировать постепенное старение волокон или деградацию разъемов.
• Изоляция от неисправностей:Если в связи наблюдается высокий BER или потеря сигнала, данные DDM с обоих концов связи должны быть сравнены.Частые способы отказа включают грязные/загрязненные разъемы MPO (очищают с помощью очистителей типа картриджа), чрезмерная потеря изгиба (проверить физическое направление), или деградация передатчика (проверить тенденции отклонения тока и оптической мощности).
• Обновления прошивки:NVIDIA периодически выпускает обновления прошивки, которые могут улучшить алгоритмы выравнивания и улучшить совместимость.MMA4Z00-NSустройства имеют последнюю версию прошивки в соответствии с рекомендациями производителя.

Для оптимизации производительности архитектура рекомендует выполнять исходное просмотр всех ссылок в режимах 800G и 2×400G, записывая оптическую мощность и статистику BER.Этот исходный план служит ориентиром для будущего устранения неполадок и планирования потенциалаКроме того,MMA4Z00-NS для продажидоступность через стандартизированное глобальное распределение гарантирует, что запасные единицы могут быть получены быстро, минимизируя время простоя в случае сбоев.

6. Резюме и оценка стоимости

ВNVIDIA Mellanox MMA4Z00-NSпредоставляет убедительное унифицированное оптическое решение для современных центров обработки данных ИИ, которые должны сбалансировать высокую пропускную способность с различными физическими расстояниями.Стандартизируя на одном типе передатчика как внутри стойки, так и между помещениями, архитектура уменьшает сложность инвентаризации, оптимизирует квалификационные процессы и упрощает техническое обслуживание,при этом используя передовые DSP и оптические возможности модуля для расширения охвата за пределами традиционных пределов SR8.

Ключевые результаты:

• Упрощение инвентаризацииОдно SKU заменяет несколько типов передатчиков, снижая затраты на хранение запасных частей примерно на 60%.
• Эффективность затратИнфраструктура мультимодного волокна значительно дешевле, чем одномодная установка, иЦена MMA4Z00-NSна порт значительно ниже, чем у эквивалентных альтернатив DR8/FR8.
• Гибкость в будущем:Разделенный режим 2 × 400G обеспечивает настройку для среды, которая еще не полностью готова к 800G, в то время как режим 800G поддерживает кластеры GPU следующего поколения сегодня.
• Операционная устойчивость:Прочный DDM, проактивное оповещение и настраиваемые на поле параметры DSP гарантируют, что ссылки остаются в пределах спецификации на протяжении всего их эксплуатационного срока.

Для сетевых архитекторов, инженеров решений и операционных командMMA4Z00-NSпредставляет собой практичный, высокопроизводительный и экономически эффективный краеугольный камень для создания масштабируемых сетей ИИ, которые могут охватывать стойки и помещения без компромиссов.Лист данных MMA4Z00-NSи технической документации, облегчающей планирование интеграции и проверку внедрения.