Техническое решение оптического трансивера NVIDIA Mellanox MMAIB00-B150D для центров обработки данных

Техническое решение оптического трансивера NVIDIA Mellanox MMAIB00-B150D для центров обработки данных | Балансировка пропускной способности и расстояния между стойками и между объектами

1. Предыстория проекта и анализ требований

Поскольку архитектуры центров обработки данных развиваются для поддержки все более требовательных задач обучения искусственному интеллекту, высокопроизводительных вычислений (HPC) и корпоративных хранилищ, соединение физического уровня между серверами, коммутаторами и системами хранения должно обеспечивать как высокую пропускную способность, так и эксплуатационную гибкость. На уровне доступа 25G, где происходит большая часть соединений между сервером и коммутатором, перед сетевыми архитекторами стоит серьезная задача проектирования: как обеспечить возможность подключения 25G на различных расстояниях (от 5 до 100 метров), поддерживая при этом протоколы Ethernet и InfiniBand, не увеличивая количество типов приемопередатчиков и не ставя под угрозу целостность сигнала. Традиционный подход к поддержанию отдельных SKU трансиверов для каждого протокола и уровня расстояния приводит к значительным эксплуатационным расходам, поскольку фабрики Ethernet и InfiniBand требуют разных циклов квалификации, а модули ближнего и дальнего радиуса действия имеют разную структуру затрат.

Эта проблема усугубляется двумя параллельными отраслевыми тенденциями. Во-первых, растущее внедрение смешанных архитектур в кластерах искусственного интеллекта, где Ethernet обслуживает трафик хранения и управления, а InfiniBand обеспечивает связь между графическими процессорами, требует оптических приемопередатчиков, которые могут бесперебойно работать в средах обоих протоколов. Во-вторых, требования к устойчивому развитию способствуют снижению энергопотребления на каждый порт, поскольку коммутаторы высокой плотности с 48 или 64 портами SFP28 могут потреблять значительную мощность, если трансиверы не оптимизированы для повышения эффективности. Требуется структурированное техническое решение, стандартизирующее один хорошо охарактеризованный приемопередатчик 25G SFP28 с возможностью работы с двумя протоколами, четкими рекомендациями по планированию расстояния, процедурами проверки бюджета канала и упреждающим мониторингом работоспособности как Ethernet, так и InfiniBand.

2. Общий проект архитектуры сети/системы.

Предлагаемая архитектура использует двухуровневую топологию с 25-гигабитными портами SFP28, служащими уровнем доступа для всех вычислительных узлов, узлов хранения и графических процессоров. Каждый листовой коммутатор, обычно оснащенный 48 или 64 портами SFP28, подключается к серверам и контроллерам хранения через каналы 25G, а несколько восходящих каналов 100G или 400G соединяют конечный уровень с уровнем позвоночника для трафика между модулями и соединениями центров обработки данных (DCI). Архитектура поддерживает как Ethernet (для хранения и управления), так и InfiniBand (для фабрик между графическими процессорами и высокопроизводительных вычислений) в рамках одной и той же конструкции физического уровня, используя единый SKU оптического приемопередатчика для всех каналов доступа 25G независимо от протокола.

Для этой архитектурыNVIDIA Мелланокс MMAIB00-B150Dвыбран в качестве единственного оптического трансивера 25G для всех каналов доступа на расстояние до 100 метров по волокну OM4 и до 70 метров по волокну OM3. ЭтотОптический трансивер MMAIB00-B150Dработает по дуплексному многомодовому оптоволокну с использованием технологии VCSEL 850 нм, поддерживая протоколы 25GBASE-SR Ethernet и 25G InfiniBand HDR без изменения конфигурации прошивки. Возможность использования двух протоколов имеет решающее значение для стратегии единой SKU архитектуры, посколькуNVIDIA Мелланокс MMAIB00-B150DявляетсяСовместимость с MMAIB00-B150Dкак с коммутаторами NVIDIA Spectrum Ethernet, так и с коммутаторами NVIDIA Quantum InfiniBand, а также с адаптерами серии ConnectX и DPU BlueField.

Архитектура также включает в себя стандартизированную конструкцию волоконно-оптической установки с использованием дуплексных разъемов LC и многомодового оптоволокна OM4 для всех новых установок с возможностью повторного использования существующей инфраструктуры OM3 для более коротких каналов, где позволяет запас канала. Такая конструкция гарантирует, что любой порт SFP28 может быть перекрестно подключен к любой конечной точке в пределах досягаемости 100 метров, обеспечивая максимальную гибкость для перебалансировки емкости и циклов обновления оборудования. В руководстве по проектированию упоминаетсяТехнические характеристики MMAIB00-B150Dдля радиуса изгиба (динамический минимум 30 мм), чистоты разъема (согласно IEC 61300-3-35) и бюджета вносимых потерь (максимум 2,5 дБ всего для всей линии связи, включая разъемы и соединения).

3. Роль и ключевые особенности NVIDIA Mellanox MMAIB00-B150D в решении

В рамках этой архитектурыОптический трансивер MMAIB00-B150DФункционирует как стандартизированный оптический интерфейс, который соединяет электрическую область коммутатора/адаптера с волоконно-оптической инфраструктурой, обеспечивая стабильную производительность как в сетях Ethernet, так и в сетях InfiniBand. Его ключевые технические характеристики имеют решающее значение для успеха стратегии использования одного SKU:

• Двухпротокольный режим:Поддерживает как 25GBASE-SR Ethernet, так и 25G InfiniBand HDR с автоматическим обнаружением, что позволяет унифицировать инвентарь трансиверов в гетерогенных фабриках.
• Передатчик VCSEL 850 нм:Обеспечивает надежную выходную оптическую мощность (от -4 до +4 дБм) с шумом низкой относительной интенсивности (RIN), поддерживая «чистые глазковые диаграммы» по многомодовому оптоволокну при передаче сигналов NRZ 25,78 Гбит/с.
• Высокочувствительный PIN-приемник:Типичная чувствительность составляет -8,5 дБм, что обеспечивает запас по линии связи не менее 3,0 дБ на OM4 на расстоянии 100 метров и 5,0 дБ на OM4 на расстоянии 70 метров с учетом потерь и старения разъема.
• Энергоэффективность:Типичное потребление ниже 1,5 Вт, что позволяет создавать плотные конфигурации портов без превышения теплового баланса.
• Интегрированный цифровой диагностический мониторинг (DDM):Отчеты о мощности передачи, мощности приема, температуре, напряжении и токе смещения в режиме реального времени через стандартный интерфейс управления I²C, что позволяет упреждающее обнаружение неисправностей в средах обоих протоколов.
• Широкий диапазон рабочих температур:Температура корпуса от 0°C до 70°C, что обеспечивает надежную работу в стойках с высокой плотностью размещения и повышенной температурой окружающей среды.
• Заводская сертификация для Ethernet и InfiniBand:Устраняет необходимость в отдельных циклах квалификации для конкретных протоколов, сокращая время развертывания и риски.

Эти функции подробно описаны вТехническое описание MMAIB00-B150D, который включает маски глазковых диаграмм, кривые допуска джиттера и механические чертежи для интеграции в инструменты компоновки шкафа. В таблице данных также представлены подробные таблицы бюджета канала, к которым можно обращаться на этапе архитектурного планирования для проверки того, что общие вносимые потери каждого канала остаются в пределах оптического бюджета модуля.

4. Рекомендации по развертыванию и масштабированию (с типичным описанием топологии)

Для первоначального развертывания мы рекомендуем использовать структурированный подход к зонированию, который сопоставляет уровни расстояния со стандартизированными типами кабелей и обеспечивает согласованный запас связи для всех соединений, независимо от протокола. Для листового коммутатора с 48 портами, обслуживающего 48 серверов в шести шкафах (по 8 серверов в каждом шкафу), используется следующая типичная топология с расстояниями между шкафами от 5 до 90 метров:

• Зона А (внутристойки, 2–5 метров):Прямые дуплексные патч-корды LC от листового коммутатора к серверам. Запас связи превышает 6 дБ, что обеспечивает надежную работу даже при умеренном ухудшении качества разъема.
• Зона Б (Смежные шкафы, 8–25 метров):Структурированная кабельная разводка OM4 через оптоволоконные лотки с промежуточными патч-панелями. Общее количество разъемов: 2 сопряженные пары на канал. Запас канала: 4,5–5,0 дБ, что вполне соответствует минимальному значению модуля в 3,0 дБ.
• Зона С (Поперечная/межрядная, 30–70 метров):Предварительно заделанные магистрали OM4 с полированными на заводе разъемами, проложенные под фальшполом. Запас линии связи: 3,5–4,0 дБ, все еще комфортный, даже с учетом старения до 0,5 дБ за 5 лет.
• Зона D (межзал/кампус, 70–100 метров):Используется только для соединений с коротким кампусом, где существует инфраструктура OM4. Запас линии связи на расстоянии 100 метров составляет примерно 3,0 дБ, что требует тщательной очистки разъема, соблюдения радиуса изгиба и проверки запаса мощности при вводе в эксплуатацию.

Масштабирование за пределы одного модуля соответствует тем же принципам зонирования с добавлением промежуточных коммутаторов агрегации, которые завершают каналы доступа 25G от нескольких модулей. Потому чтоРешение оптического приемопередатчика MMAIB00-B150Dиспользует один SKU с возможностью работы с двумя протоколами, расширение не требует прогнозирования типов трансиверов для каждого протокола или расстояния — все каналы предоставляются одинаково. Это упрощает логистику и позволяет оперативной группе поддерживать небольшой резерв запасных трансиверов (обычно 5% от развернутых устройств) для быстрой замены во время технического обслуживания.

Для планирования расстояния в следующей таблице приведены рекомендации по максимальному радиусу действия в зависимости от типа волокна и бюджета канала:

При развертывании на расстояниях, приближающихся к максимальному радиусу действия, мы советуем выполнить измерение оптической мощности во время ввода в эксплуатацию с использованием источника света и измерителя мощности, сравнивая измеренные потери с бюджетом, рассчитанным поТехническое описание MMAIB00-B150D. Этот этап проверки гарантирует, что любые дефекты или загрязнения кабеля будут обнаружены до того, как линия будет введена в эксплуатацию.

5. Эксплуатация и обслуживание: мониторинг, устранение неполадок и оптимизация.

Жизненный цикл эксплуатации оптической инфраструктуры на базе MMAIB00-B150D требует систематического подхода к мониторингу и устранению неисправностей с использованием возможностей DDM модуля в сетях Ethernet и InfiniBand. Мы рекомендуем интегрировать интерфейс управления I²C в центральную систему управления сетью (NMS), используя стандартную MIB SFF-8472 для модулей SFP. Ключевые пороговые значения для настройки упреждающих оповещений включают в себя:

• Снижение мощности передачи:Предупреждает, если выходная мощность падает более чем на 2,0 дБ от номинальной, что указывает на возможное старение VCSEL или загрязнение разъема на передающей стороне.
• Запас мощности приема:Предупреждение, если принимаемая мощность приближается к -8,0 дБм (с чувствительностью -8,5 дБм), что указывает на чрезмерную потерю соединения, повреждение кабеля или плохое выравнивание разъема.
• Температурные отклонения:Предупреждайте, если температура корпуса превышает 65°C, что указывает на затруднение потока воздуха, отказ вентилятора или повышение температуры окружающей среды.
• Дрейф тока смещения:Мониторинг изменений тока смещения лазера с течением времени; устойчивое увеличение выше 30% от номинала может указывать на ухудшение качества VCSEL.

В случае ухудшения качества или сбоя канала следует следовать структурированному протоколу устранения неполадок:

1. Проверьте показания DDM, чтобы локализовать неисправность — сравните значения Tx и Rx с ожидаемыми диапазонами отТехнические характеристики MMAIB00-B150Dи подтвердите, затрагивает ли проблема обе структуры Ethernet и InfiniBand или только один протокол.
2. Осмотрите дуплексные разъемы LC на обоих концах с помощью торцевого микроскопа; очистите, если обнаружено загрязнение, в соответствии со стандартами IEC 61300-3-35.
3. Проверьте соединение с заведомо исправным трансивером MMAIB00-B150D, чтобы убедиться, что неисправность связана с модулем или оптоволоконной системой.
4. Если проблема не устранена, выполните тест OTDR, чтобы обнаружить разрывы волокон, чрезмерные изгибы или сбои сращивания на структурированном кабельном пути.
5. При возникновении проблем, связанных с протоколом, убедитесь, что конфигурация коммутатора/конечной точки соответствует автоматически определяемому режиму протокола трансивера; хотя MMAIB00-B150D поддерживает автоматическое обнаружение, для некоторых устаревших платформ может потребоваться настройка протокола вручную.

Возможности оптимизации включают периодические проверки прокладки кабелей для обеспечения минимального соответствия радиусу изгиба и проверки того, что пучки волокон не сжимаются и не подвергаются чрезмерному натяжению. Кроме того, посколькуЦена MMAIB00-B150Dконкурирует с другими сертифицированными модулями 25G SR, предлагая при этом возможность работы с двумя протоколами, мы рекомендуем поддерживать небольшой запас запасных трансиверов (приблизительно 5% от общего числа развернутых модулей), чтобы обеспечить быструю замену и минимизировать MTTR. Для крупномасштабных развертываний рассмотрите возможность внедрения автоматизированных панелей мониторинга состояния оптических систем, которые объединяют данные DDM по всем каналам в сетях Ethernet и InfiniBand, обеспечивая возможность профилактического обслуживания и планирования мощности.

6. Резюме и оценка стоимости

NVIDIA Мелланокс MMAIB00-B150DЭто техническое решение обеспечивает прагматичную, проверенную на практике методологию балансировки пропускной способности, расстояния и гибкости протоколов в сетях доступа центров обработки данных 25G. Путем стандартизации одного приемопередатчика SFP28, совместимого с IEEE, —Оптический трансивер MMAIB00-B150D— архитектура устраняет сложность управления несколькими SKU для разных протоколов и уровней удаленности, сокращает запасы запасных частей и упрощает планирование развертывания. Технология VCSEL 850 нм модуля в сочетании с высокочувствительным PIN-приемником обеспечивает надежную работу по многомодовому оптоволоконному кабелю OM3 и OM4 на расстоянии до 100 метров, охватывая подавляющее большинство каналов внутри центра обработки данных и кампуса, поддерживая как Ethernet, так и InfiniBand Fabrics.

Ключевые показатели ценности сопоставимых развертываний включают в себя:

• Сокращение запасов:Один артикул трансивера заменяет два номера деталей, зависящих от протокола, и два номера деталей, зависящих от расстояния, что снижает накладные расходы на логистику на 60–70%.
• Энергоэффективность:При мощности < 1,5 Вт на модуль MMAIB00-B150D способствует снижению затрат на охлаждение и повышению PUE.
• Эксплуатационная надежность:Проактивный мониторинг с поддержкой DDM сокращает MTTR до 60 % при сбоях оптического уровня в обоих типах фабрик.
• Оптимизация затрат:Цена MMAIB00-B150Dконкурирует с другими сертифицированными модулями 25G SR, а возможность работы с двумя протоколами и широкая совместимость исключают дополнительные затраты на квалификацию и сокращают затраты на обучение.

Для сетевых архитекторов и технических специалистов MMAIB00-B150D предлагает оптический интерфейс «установил и забыл», который поддерживает стабильную производительность при колебаниях температуры, механических нагрузках и протокольных средах. Решение особенно рекомендуется для новых центров обработки данных с искусственным интеллектом, планирующих стандартизированные сети доступа 25G со смешанными фабриками Ethernet и InfiniBand, а также для существующих сред, модернизирующихся с 10G до 25G при повторном использовании существующей многомодовой оптоволоконной инфраструктуры. Поскольку 25G Ethernet и 25G InfiniBand продолжают служить основой уровня доступа для ИИ, высокопроизводительных вычислений и корпоративных сред хранения данных, оптическая архитектура на базе MMAIB00-B150D обеспечивает надежную масштабируемую основу, которая соответствует как текущим эксплуатационным ограничениям, так и долгосрочным планам емкости.

Подробные рекомендации по интеграции, данные теплового моделирования и пакеты сертификации соответствия можно найти в официальной документации продукта.