NVIDIA Mellanox MFP7E20-N010 в действии: высоконадежное межсоединение и оптимизация эксплуатации для центров обработки данных

NVIDIA Mellanox MFP7E20-N010 в действии: высоконадежное соединение и оптимизация работы для центров обработки данных и корпоративных сетей

По мере развития высокопроизводительных центров обработки данных в сторону архитектур Ethernet 400GbE и InfiniBand NDR, гибкая адаптация скорости портов стала критически важной задачей проектирования на физическом уровне. Когда порт коммутатора 400G должен соединять два нисходящих устройства 200G, традиционные подходы полагаются на комбинацию дискретных оптических трансиверов и нескольких патч-кордов — решение, которое вводит множество точек подключения, кумулятивные потери при вставке и значительную перегрузку кабельных лотков. Ведущий облачный провайдер недавно развернул кабеля NVIDIA Mellanox MFP7E20-N010 для решения этих задач в своем кластере обучения ИИ, успешно превратив сложные развертывания разветвления из кошмаров, собранных на месте, в оптимизированные, заводские проверенные соединения типа «подключи и работай».

Обзор и проблемы: сложность разветвления в кластерах ИИ

Этот облачный провайдер эксплуатирует крупномасштабную среду обучения ИИ с более чем 1500 графическими процессорами, распределенными по нескольким стойкам. Архитектура полагается на коммутаторы NVIDIA Quantum-2 NDR InfiniBand, каждый из которых оснащен портами 400G высокой плотности. Однако вычислительные узлы в кластере оснащены 200G HCA (адаптерами хост-канала), что требует разделения каждого порта коммутатора 400G на два соединения 200G для максимального использования портов коммутатора.

Во время первоначального развертывания команда попыталась реализовать разветвленное соединение, используя стандартные трансиверы разветвления в сочетании с дискретными патч-кордами MPO-4. Этот подход быстро выявил четыре критические проблемы. Во-первых, использование отдельных трансиверов и нескольких патч-кордов вводило от четырех до шести физических точек подключения на каждое разветвление, каждая из которых добавляла потенциальный риск загрязнения и измеримые потери при вставке — часто превышающие кумулятивные потери в 1,0 дБ, что значительно снижало запас по линии при сигнализации PAM4. Во-вторых, значительно ухудшилась перегрузка кабельных лотков; каждое разветвление 400G потребляло от трех до четырех дискретных кабелей, быстро заполняя доступные вертикальные кабельные менеджеры и создавая препятствия для воздушного потока. В-третьих, управление полярностью между несколькими кабелями и типами трансиверов стало значительным источником ошибок на месте, причем около 14% разветвленных линий требовали доработки из-за неправильно поляризованных соединений. В-четвертых, устранение неполадок с линиями занимало много времени, поскольку было трудно определить, исходят ли проблемы от трансивера, патч-кордов или точек подключения, при этом среднее время восстановления (MTTR) составляло более 80 минут.

Эти проблемы привели к увеличению сроков развертывания, росту эксплуатационных расходов и повышению риска необнаруженного ухудшения качества линии — факторов, которые угрожали способности кластера соответствовать запланированной мощности для рабочих нагрузок обучения ИИ.

Решение и развертывание: стандартизация разветвления с помощью MFP7E20-N010

После оценки нескольких альтернатив провайдер выбрал кабеля NVIDIA Mellanox MFP7E20-N010 в качестве стандартного кабеля разветвления для всех соединений 400G-to-200G в кластере. Решение было обусловлено несколькими факторами: заводская сборка MPO-12 на 2 × MPO-4 устранила необходимость в отдельных трансиверах разветвления и нескольких патч-кордах; интегрированная конструкция сократила количество точек подключения с шести до трех; и каждый кабель поставлялся с подробным отчетом об испытаниях, документирующим потери при вставке на пару волокон для каждого выходного канала — предоставляя базовые данные для отслеживания производительности в течение жизненного цикла.

Развертывание следовало структурированному процессу:

• Сопоставление и маркировка портов: Каждому оптоволоконному кабелю-разветвителю MPO MFP7E20-N010 был назначен конкретный порт коммутатора 400G и два соответствующих порта HCA 200G, с метками, указывающими назначение ветви A/B и заводские значения потерь для каждого канала.
• Предварительная проверка установки: Перед прокладкой команды проверяли чистоту торцевых поверхностей с помощью ручных инспекционных приборов MPO, при этом менее 3% кабелей требовали очистки — значительное улучшение по сравнению с 25% уровнем очистки, наблюдавшимся при использовании дискретных кабельных решений.
• Структурированная прокладка кабелей: Конструкция с одним основным кабелем MPO-12 значительно уменьшила объем кабельных лотков. Каждое разветвление требовало только одного основного кабельного жгута вместо трех-четырех дискретных перемычек, что обеспечивало гораздо более аккуратное вертикальное управление кабелями с улучшенным воздушным потоком.
• Проверка после установки: Каждое разветвление тестировалось сквозным способом с использованием источника света MPO и измерителя мощности, а измеренные потери при вставке сравнивались с заводскими базовыми данными, указанными в техническом описании MFP7E20-N010. Любой канал, превышающий базовый уровень более чем на 0,1 дБ, проверялся и переустанавливался.

В течение пяти недель команда развернула более 400 разветвительных кабелей MFP7E20-N010 по всему кластеру, достигнув первого прохода при запуске с выходом 98% — значительное улучшение по сравнению с 72% выходом, наблюдавшимся при использовании дискретных разветвительных конфигураций.

Результаты и преимущества: измеримые успехи в скорости развертывания, надежности и плотности кабелей

Количественные и качественные улучшения, наблюдавшиеся в ходе развертывания, обобщены ниже:

Помимо цифр, операционная команда выделила три особенно ценных результата. Во-первых, снижение кумулятивных потерь при вставке — с 1,05 дБ до всего лишь 0,45 дБ — обеспечило значительно больший запас по линии при сигнализации PAM4, снизив риск ошибок в битах и повторных передач в сети обучения ИИ. Во-вторых, резкое сокращение беспорядка в кабельных лотках (с 3–4 кабелей до одного интегрированного кабеля на разветвление) обеспечило лучший воздушный поток и упростило добавление кабелей в будущем. В-третьих, заводские базовые данные для каждого кабеля NVIDIA Mellanox MFP7E20-N010 позволили проводить проактивное обслуживание: ежеквартальные проверки теперь включают сравнение измеренных потерь с базовыми данными, при этом отклонение в 0,2 дБ инициирует проверку разъема до возникновения ухудшения производительности.

Атрибут совместимый с MFP7E20-N010 также оказался ценным для всей среды. Кабель бесперебойно работал как с коммутаторами NVIDIA Quantum-2, так и со сторонним оборудованием, требующим разветвления на основе MPO, устраняя необходимость в специфических для поставщика SKU разветвления. Это решение для оптоволоконного кабеля-разветвителя MPO MFP7E20-N010 с тех пор было принято в качестве корпоративного стандарта для всех развертываний разветвления 400G-to-200G по всему глобальному портфелю центров обработки данных провайдера.

Резюме и перспективы: интегрированное разветвление как основа для гибких, надежных сетей

Опыт провайдера демонстрирует, что развертывание интегрированных, заводских протестированных кабелей разветвления, таких как разветвитель MPO-12 на 2 × MPO-4 для 400GbE/NDR MFP7E20-N010, обеспечивает ощутимые эксплуатационные преимущества, выходящие далеко за рамки первоначального этапа развертывания. Интегрированная конструкция сокращает количество физических точек подключения, минимизирует кумулятивные потери при вставке и значительно упрощает управление кабельными лотками. Директор по эксплуатации отметил: «MFP7E20-N010 превратил развертывание разветвления из кошмара устранения неполадок в простую процедуру «подключи и работай». Мы сократили время развертывания на одно разветвление более чем на 60% и полностью исключили доработку, связанную с полярностью».

По мере масштабирования провайдером своей инфраструктуры ИИ для поддержки более крупных кластеров графических процессоров те же принципы интегрированного разветвления, заводской проверки производительности разветвителя и базовой наблюдаемости останутся применимыми. Для организаций, которые в настоящее время оценивают обновления до 400G или NDR с требованиями к разветвлению — особенно разделение 400G на 200G — MFP7E20-N010 для продажи через авторизованных партнеров NVIDIA предлагает проверенный путь к стандартизированному, высоконадежному разветвленному соединению. Дополнительные технические сведения можно найти в документе технические характеристики MFP7E20-N010, а поддержка инженеров по применению доступна для помощи в планировании разветвления и моделировании бюджета линии.

Ключевые слова: MFP7E20-N010, NVIDIA Mellanox MFP7E20-N010, оптоволоконный кабель-разветвитель MPO MFP7E20-N010, разветвитель MPO-12 на 2 × MPO-4 для 400GbE/NDR MFP7E20-N010, техническое описание MFP7E20-N010, технические характеристики MFP7E20-N010, цена MFP7E20-N010, MFP7E20-N010 для продажи, совместимый с MFP7E20-N010, решение для оптоволоконного кабеля-разветвителя MPO MFP7E20-N010