Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Практика применения активных оптических кабелей

Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Практика применения активных оптических кабелей для коротких расстояний высокоскоростных межреактивных соединений и упрощения кабеля

События и вызовы: узкое место кабеля в межреакной связи

Национальный суперкомпьютерный центр столкнулся с неожиданным узким местом после модернизации своей сети InfiniBand HDR 200G.каждая из которых содержит 16 серверов GPUПри традиционном подходе межреакционная связь основывалась на волоконных патчевых кабелях плюс дискретных оптических модулях:Передатчики QSFP56 SR4 были развернуты в верхней части каждого стойкиЭто решение выявило множество проблем во время первоначального развертывания.Распространение кабелей было серьезным более 300 волоконных соединений были необходимы между 48 стойкамиВо-вторых, уровень отказов оптических модулей был особенно высок, а также высокий уровень отказов в электрических кабелях.с операционной группой, регистрирующей в среднем 3-4 замены модулей в неделю в течение первых трех месяцев после развертыванияВ-третьих, каждый MPO-прыжок требовал тщательного управления полярностью и очистки,добавление 15-20 минут на ссылку во время первоначального подъемаРуководитель операций обобщил задачу: "Нам нужно было решение, которое могло бы обеспечить ту же производительность 200G, но с меньшим количеством компонентов, более простым обращением,и резко снизить уровень сбоев на поле.. "

Решение и развертывание: внедрение активного оптического кабеля MFS1S00-H005V

Чтобы решить эти проблемы, центр оценил несколько альтернатив и в конечном итоге выбралMFS1S00-H005Vот Mellanox (NVIDIA Mellanox)Кабель MFS1S00-H005V 200G QSFP56 AOCкоторый объединяет оптические передатчики и волокна в одну, предварительно завершенную сборку.MFS1S00-H005V InfiniBand HDR 200Gb/s активный оптический кабель, это исключает необходимость в отдельных модулях и прыжках,Предлагая подключение с интерфейсом plug-and-play, которое простирается до 50 метров идеально подходит для расстояний от 5 до 15 метров, типичных для стойки в этом объекте.

Стратегия развертывания проводилась поэтапно в течение трех выходных.NVIDIA Mellanox MFS1S00-H005V, подтверждая, чтоСовместимость MFS1S00-H005VФаза 2 расширила развертывание AOC на верхние подъемные ссылки, соединяя каждый вычислительный узел с переключателями Leaf.Фаза 3 сфокусирована на структуре GPU для хранения данных, гдеMFS1S00-H005V 200G QSFP56 AOC кабельное решениеЭто позволило установить детерминированную задержку для параллельного трафика файловой системы.Лист данных MFS1S00-H005Vпроверять бюджеты на связи и гарантировать, что 50-метровый диапазон был достаточен для их максимального пробега (измеренный на 37 метрах, включая циклы обслуживания).

Ключевым преимуществом подхода AOC было устранение отдельного этапа очистки передатчикаMFS1S00-H005Vприбыли с заводскими испытаниями и запечатаны, требуя только визуального осмотра конечных поверхностей разъемов перед установкой.Группа использовала цветовые кабельные ботинки, чтобы отличить соединения листья и позвоночника от соединений листья и компьютера, дальнейшее упрощение документации.

Результаты и преимущества: ощутимое улучшение надежности и эффективности работы

Послезагрузочные показатели показали значительные улучшения в различных аспектах.Спецификации MFS1S00-H005V✓ включая типичное потребление электроэнергии ниже 1,5 Вт на конец и BER менее 1e-15 ✓ были полностью реализованы в производственной среде,Центр сообщил о нулевых неудачах на работе в течение двух месяцев после переходаВ следующей таблице приведены основные улучшения:

Операционная группа также отметила, чтоMFS1S00-H005VГибкое покрытие кабеля и минимальный радиус изгиба 30 мм позволили намного более аккуратно перемещаться внутри кабельных поддонов, уменьшая необходимость в кабельных связках и улучшая воздушный поток.Центр обнаружил, что в то время какЦена MFS1S00-H005Vна единицу была немного выше, чем отдельная комбинация модуля плюс прыжок на основе ссылки, устранение запаса запасных частей, сокращение работы по устранению неполадок,и почти нулевой уровень отказов сделали общую стоимость владения (TCO) более выгодной.MFS1S00-H005V для продажичерез канал NVIDIA также обеспечил быструю замену любых дефектных блоков (хотя ни один не произошел в течение первых трех месяцев).

Резюме и перспективы: проект для упрощенных тканей HDR

Успешное внедрение суперкомпьютерного центраMFS1S00-H005Vдемонстрирует, как активные оптические кабели могут значительно упростить межраковую связь в среде HDR 200G. путем консолидации передатчиков и волокон в одну, предварительно квалифицированную сборку,подход AOC уменьшает количество компонентовДля сетевых архитекторов и ИТ-менеджеров, имеющих дело с аналогичными проблемами плотности кабеля,NVIDIA Mellanox MFS1S00-H005VПредлагает проверенный путь к более высокой надежности и снижению операционных накладных.Лист данных MFS1S00-H005VЦентр теперь планирует расширить стратегию AOC на свое новое крыло расширения GPU,ожидая повторить те же преимущества в еще большем масштабе.