Mellanox (NVIDIA Mellanox) MFS1S00-H020V Активный оптический кабель AOC Технический документ

1. Предыстория проекта и анализ требований

В корпоративных центрах обработки данных и объектах высокопроизводительных вычислений наблюдается беспрецедентный рост как плотности вычислений, так и пропускной способности сети. По мере того, как организации развертывают кластеры искусственного интеллекта с ускорением на графическом процессоре и крупномасштабные распределенные системы хранения, соединение между стойками становится критическим узким местом — не с точки зрения общей пропускной способности, а с точки зрения физического развертывания, управления кабелями и эксплуатационной надежности. Проблема особенно остра на расстояниях от 10 до 30 метров, которые составляют большую часть межстоечных и межлистовых соединений в современных залах обработки данных.

Традиционные медные кабели прямого подключения (DAC) со скоростью 200 Гбит/с страдают от значительного ухудшения целостности сигнала на расстоянии более 5 метров. Хотя некоторые ЦАП с активными ретаймерами могут увеличить радиус действия до 10 метров, они остаются громоздкими, жесткими и их трудно прокладывать через стандартные системы прокладки кабелей. Альтернатива — дискретные оптические трансиверы в сочетании с отдельными оптоволоконными перемычками — обеспечивает отличную дальность действия, но создает множество точек отказа, требует специальных навыков установки и значительно увеличивает структуру затрат на порт.

Сетевые архитекторы, инженеры по инфраструктуре и менеджеры по эксплуатации искали решение, которое обеспечило бы производительность и дальность действия оптического волокна, сохраняя при этом простоту эксплуатации кабеля с предварительной заделкой и функцией Plug-and-Play. В этом техническом документе представлено комплексное техническое решение, основанное наМелланокс (NVIDIA Mellanox) MFS1S00-H020Vактивный оптический кабель, специально разработанный для решения проблем межсоединения на коротких расстояниях.

2. Общий проект архитектуры сети/системы.

Рекомендуемая архитектура соответствует двухуровневой топологии Spine-Leaf, которая является преобладающей конструкцией для высокопроизводительных коммутационных сетей InfiniBand благодаря своей масштабируемости, предсказуемой задержке и высокой пропускной способности пополам. В этой конструкции конечные коммутаторы располагаются в верхней части каждой серверной стойки, агрегируя вычислительный трафик и трафик хранилища от адаптеров хост-канала (HCA) и подключаясь к резервной паре магистральных коммутаторов, расположенных в выделенном ряду магистральных коммутаторов. Соединение между листовыми и магистральными коммутаторами представляет собой критический сегмент «стока-стойка», гдеMFS1S00-H020Vдает максимальное значение.

Каждый листовой коммутатор оснащен несколькими портами восходящей линии связи QSFP56, а соединения с уровнем позвоночника устанавливаются с использованиемКабель MFS1S00-H020V 200G QSFP56 AOC. Встроенная активная оптика кабеля устраняет необходимость в отдельных трансиверах, сокращая общую спецификацию материалов на канал с шести компонентов (два трансивера, два оптоволоконных разъема, две патч-панели) до всего двух конечных точек. Такое упрощение снижает вносимые потери, устраняет необходимость управления полярностью и значительно упрощает документацию кабельной установки.

MFS1S00-H020V Активный оптический кабель InfiniBand HDR 200 Гбит/сполностью совместим с коммутаторами NVIDIA Mellanox Quantum HDR InfiniBand и HDR-адаптерами ConnectX-6, обеспечивая плавную интеграцию в существующие фабрики. Архитектура может масштабироваться от 8 до более чем 100 стоек, сохраняя при этом предсказуемую задержку и неблокирующую производительность.

3. Роль и ключевые особенностиМелланокс (NVIDIA Mellanox) MFS1S00-H020Vв решении

MFS1S00-H020Vслужит фундаментальным строительным блоком для уровня межсоединения между листом и позвоночником. Его технические характеристики, как указано вТехническое описание MFS1S00-H020V, специально оптимизированы для применения на малых и средних расстояниях:

• Целостность сигнала:Обеспечивает безошибочную передачу (BER < 1E-15) со скоростью 200 Гбит/с на расстояния от 5 до 100 метров с оптимальной производительностью в зоне наилучшего восприятия 10–30 метров для соединения между стойками.
• Активный оптический двигатель:Встроенная оптика на основе VCSEL и схема формирования сигнала обеспечивают стабильную работу независимо от электрических помех или сложности прокладки кабеля.
• Форм-фактор:Разъемы QSFP56 на обоих концах обеспечивают совместимость с существующей инфраструктурой коммутаторов и адаптеров, а тонкое оптическое волокно уменьшает объем кабельного лотка более чем на 60% по сравнению с медными эквивалентами.
• Цифровой диагностический мониторинг (DDM):Встроенный мониторинг на основе I²C обеспечивает в режиме реального времени информацию о температуре, напряжении, токе смещения лазера и принимаемой оптической мощности, как подробно описано вТехнические характеристики MFS1S00-H020V.
• Энергоэффективность:Потребляет менее 3,5 Вт на каждый конец, что соответствует профилю мощности пассивных медных решений и обеспечивает превосходную производительность.

КабельСовместимость с MFS1S00-H020Vсо всеми коммутаторами NVIDIA Mellanox Quantum и Spectrum, а также с оборудованием сторонних производителей, соответствующим стандартам QSFP56 MSA и IBTA. Такая широкая совместимость гарантирует, что организации смогут развернутьMFS1S00-H020Vбез необходимости использования собственных интерфейсов или привязки к поставщику.

4. Рекомендации по развертыванию и расширению с типичной топологией

РазвертываниеMFS1S00-H020Vследует структурированному процессу, который минимизирует риски и ускоряет время обслуживания. Рекомендуемый рабочий процесс развертывания состоит из четырех этапов:

Этап 1 – Физическое планирование:Точно измерьте путь кабеля между местами расположения листового и позвоночного переключателя, включая вертикальные и горизонтальные пути прокладки кабеля.MFS1S00-H020Vдоступен в стандартной длине; выбор подходящей длины сводит к минимуму сервисные петли, обеспечивая при этом достаточный запас хода для будущего обслуживания. Типичная конструкция модуля с 16 стойками требует 8 восходящих каналов на каждый листовой коммутатор к двум магистральным коммутаторам, в результате чего для полного модуля требуется 128 кабелей.

Этап 2 – Проверка перед установкой:Убедитесь, что все конечные и магистральные порты коммутатора настроены для работы InfiniBand HDR со скоростью 200 Гбит/с. ПросмотритеТехническое описание MFS1S00-H020Vдля проверки совместимости встроенного ПО и определения требований к конфигурации перед установкой.

Этап 3 – Физическая установка:УстановитеMFS1S00-H020Vкабели, вставив разъемы QSFP56 в назначенные порты восходящей линии связи на листовом и магистральном коммутаторах. Конструкция с язычком обеспечивает надежную установку и извлечение без напряжения соседних разъемов. Прокладывайте волокно по выделенным путям, соблюдая минимальный радиус изгиба 30 мм, как указано в документации на продукт. Уменьшенный диаметр кабеля позволяет обеспечить высокую плотность связывания в вертикальных кабельных организаторах.

Этап 4 – Создание и проверка ссылки:После установки проверьте состояние соединения с помощью интерфейса управления коммутатором.Кабельное решение MFS1S00-H020V 200G QSFP56 AOCподдерживает автоматическое согласование, упрощая процесс настройки. Используйте показания DDM, чтобы убедиться, что мощность оптического приема, температура и напряжение находятся в пределах нормального рабочего диапазона. Задокументируйте базовые значения DDM для будущего сравнения при устранении неполадок.

Для расширения,MFS1S00-H020Vмасштабируется без проблем. Дополнительные стойки можно подключить к существующим коммутаторам Spine, добавив дополнительные кабели AOC к доступным портам. При обновлении инфраструктуры 100G до 200G пропускная способность кабеля 200 Гбит/с обеспечивает запас для будущего увеличения пропускной способности без замены кабеля.

5. Мониторинг операций, устранение неполадок и оптимизация.

Эффективное управление крупномасштабной фабрикой InfiniBand требует комплексного мониторинга и быстрого устранения неполадок.MFS1S00-H020Vинтегрируется с экосистемой управления сетью NVIDIA Mellanox, предоставляя следующие возможности:

Проактивный мониторинг здоровья:Функции DDM обеспечивают непрерывное отслеживание критических параметров. Сетевые администраторы могут настраивать пороговые оповещения об отклонениях температуры, напряжения и оптической мощности, используя стандартные интерфейсы управления коммутаторами. Раннее обнаружение аномальных показаний DDM, таких как постепенное снижение мощности приема, позволяет провести профилактическое обслуживание до того, как произойдет сбой канала.Технические характеристики MFS1S00-H020Vзадокументируйте номинальные рабочие диапазоны для справки.

Локализация отказов:При обнаружении проблемы с соединением данные DDM помогают отличить проблемы, связанные с кабелем, от неисправностей на стороне коммутатора. Внезапное падение мощности приема обычно указывает на загрязнение оптического тракта или повреждение кабеля, а потеря тока смещения лазера указывает на проблему на передающей стороне. Эта диагностическая возможность значительно сокращает среднее время ремонта (MTTR).

Видимость по всей ткани:NVIDIA Мелланокс MFS1S00-H020VДанные DDM интегрируются с NVIDIA UFM (Unified Fabric Manager) и другими платформами телеметрии, обеспечивая корреляцию диагностики физического уровня с показателями производительности всей структуры. Эта видимость поддерживает планирование мощности, размещение рабочей нагрузки и анализ первопричин.

Рекомендации по устранению неполадок:При устранении неполадок нефункционального канала рекомендуемая последовательность: (1) проверьте физическое соединение на обоих концах; (2) проверить показания DDM на наличие параметров, выходящих за пределы диапазона; (3) проверьте состояние и конфигурацию порта коммутатора; (4) если диагностика не дает результатов, замените кабель на заведомо исправный. Протестировано на заводеMFS1S00-H020Vпродемонстрировал исключительную надежность в производственных условиях, при этом отказы, вызванные кабелем, происходят исключительно редко.

Оптимизация затрат:В то время какЦена MFS1S00-H020Vна единицу превышает аналогичный показатель медных ЦАП, анализ совокупной стоимости владения (TCO) неизменно отдает предпочтение активному оптическому решению. Сокращение затрат на охлаждение, сокращение трудозатрат на прокладку кабелей, отказ от закупок трансиверов и повышение надежности в совокупности обеспечивают положительную окупаемость инвестиций в течение первого года эксплуатации. Организации должны оценитьПродается MFS1S00-H020Vварианты через соглашения об оптовых закупках для оптимизации структуры затрат.

6. Резюме и оценка стоимости

Мелланокс (NVIDIA Mellanox) MFS1S00-H020VАктивный оптический кабель представляет собой революционный подход к межстоечным соединениям на коротких расстояниях в высокопроизводительных центрах обработки данных. Сочетая простоту подключения ЦАП с целостностью сигнала и дальностью действия оптического волокна, он устраняет критический пробел в портфеле межсетевых соединений, который долгое время заставлял сетевых архитекторов искать компромиссные решения.

Кабельное решение MFS1S00-H020V 200G QSFP56 AOCобеспечивает измеримые преимущества по нескольким направлениям: плотность кабеля увеличивается более чем на 60 %, время развертывания каждого канала сокращается примерно на 75 %, а надежность канала повышается на порядок по сравнению с медными альтернативами. Интегрированная функциональность DDM обеспечивает видимость, необходимую для упреждающего управления операциями, в то время какСовместимость с MFS1S00-H020Vприрода обеспечивает плавную интеграцию с существующей инфраструктурой.

Для организаций, планирующих развернуть или расширить фабрики InfiniBand 200G,MFS1S00-H020Vпредлагает проверенную, проверенную на практике основу, которая масштабируется от нескольких стоек до тысяч узлов. Его совместимость с существующей инфраструктурой коммутаторов, описанная в документеТехническое описание MFS1S00-H020V, гарантирует, что модернизация может осуществляться без замены вилочных погрузчиков или сложного тестирования совместимости.

Поскольку скорость центров обработки данных продолжает развиваться, фундаментальные принципы архитектуры, продемонстрированные этим решением, — интегрированная активная оптика, цифровая диагностика и упрощенная прокладка кабелей — останутся актуальными.MFS1S00-H020Vэто не просто кабель; это стратегический компонент инфраструктуры, который позволяет сетевым архитекторам создавать более плотные, надежные и управляемые высокопроизводительные структуры для вычислительных рабочих нагрузок следующего поколения.