Техническое решение сетевого устройства NVIDIA Mellanox 980-9I45J-00H010

NVIDIA Mellanox 980-9I45J-00H010 Техническое решение для сетевого устройства | Высоконадежное соединение и оптимизация эксплуатации центров обработки данных и корпоративных сетей

1. Предыстория проекта и анализ требований

Корпоративные центры обработки данных переживают критический переход от сети «максимального усилия» к «детерминированной» сети. Кластерам AI/HPC требуется согласованность задержек на уровне микросекунд, распределенное хранилище использует транспортировку с нулевой потерей пакетов, а межоблачное соединение требует самовосстановления сбоев за доли секунды. Традиционные трехуровневые сетевые архитектуры достигли своих пределов с точки зрения балансировки нагрузки, скорости сходимости неисправностей и прозрачности операций. Это решение сосредоточено наNVIDIA Мелланокс 980-9I45J-00H010в качестве основополагающего строительного блока сетевой инфраструктуры следующего поколения, предназначенного для одновременного удовлетворения трех основных требований:высокая доступность(переключение на уровне канала/устройства менее 100 мс),высокая пропускная способность со сверхнизкой задержкой(пересылка на скорости линии 400G с задержкой менее 600 нс) иинтеллектуальные операции(сквозная телеметрия и упреждающее прогнозирование аномалий).

2. Общий дизайн сетевой архитектуры.

В решении используется двухуровневая архитектура CLOS Spine-Leaf, в которой каждый коммутатор Leaf полностью связан с каждым устройством Spine, обеспечивая фиксированное количество переходов, равное 2 (Leaf→Spine→Leaf) между любыми двумя конечными точками. Конечный уровень разделен по доменам обслуживания: зона вычислений (обучение графического процессора/ИИ), зона хранения (NVMe-oF), зона управления (iBMC/внеполосное подключение) и зона арендатора (изоляция арендатора VXLAN).980-9I45J-00H010служит основным узлом Spine, предлагая 32 порта 400G QSFP-DD или 128 портов 100G через коммутационные кабели с коммутационной способностью 12,8 Тбит/с. Устройства Leaf можно развернуть с помощью коммутаторов серии NVIDIA Spectrum-2, подключенных через восходящие каналы 100G/200G к уровню Spine, образуя неблокируемую топологию «жирного дерева».

На уровне управления решение использует BGP-EVPN в качестве унифицированного протокола уровня управления, обеспечивающего виртуализацию сети на основе VXLAN. MLAG (агрегация каналов на нескольких шасси) реализована на конечном уровне для обеспечения доступа к двойному активному серверу, гарантируя нулевое прерывание трафика во время сбоев канала. На уровне Spine возможности аппаратного уровня NSR (непрерывная маршрутизация)980-9I45J-00H010обеспечивает прозрачность плоскости пересылки во время переключения супервизора, дополненную BFD (обнаружение двунаправленной пересылки) для достижения сходимости маршрутов за доли секунды.

3. Роль и ключевые особенностиNVIDIA Мелланокс 980-9I45J-00H010в решении

Это устройство берет на себя основную роль Spine в решении, его дифференцированная ценность проявляется в четырех измерениях:

• Сверхнизкая задержка с детерминированной пересылкой:Благодаря использованию режима сквозной пересылки задержка между портами составляет менее 600 нс, а джиттер ограничен ±50 нс, что обеспечивает предсказуемое время завершения для трафика RoCEv2.
• Интеллектуальное управление перегрузками:Встроенный механизм контроля перегрузки обеспечивает аппаратное ускорение DCQCN (квантованное уведомление о перегрузке центра обработки данных) и управление приоритетным потоком (PFC) с динамической автоматической настройкой порогового значения ECN для снижения риска тупиковой ситуации PFC.
• Расширенная матрица телеметрии:Поддержка внутриполосной сетевой телеметрии (INT) и потоковой телеметрии (gRPC) позволяет в режиме реального времени экспортировать глубину очереди, использование канала и частоту ошибок CRC для каждого порта, создавая основу данных для операций.
• Открытое программирование:Созданные на оборудовании с поддержкой SONiC и поддержкой программируемого конвейера P4, операционные группы могут настраивать логику обработки данных для гибкой адаптации к будущему развитию протокола.

В качестве основного компонента980-9I45J-00H010 Высокоскоростная сеть центра обработки данныхрешения, характеристики его аппаратных ресурсов приведены ниже:

4. Рекомендации по развертыванию и масштабированию (с типовой топологией)

Типичная топология развертывания (на примере 128 коммутаторов Leaf): каждый Leaf подключен через каналы 4 x 100G к 4 узлам Spine (т. е. к 4 узлам980-9I45J-00H010), достигая коэффициента превышения подписки 4:1 (пропускная способность нисходящей линии связи: пропускная способность восходящей линии связи = 4:1), что подходит для чувствительных к пропускной способности рабочих нагрузок обучения искусственного интеллекта. Чтобы сохранить гибкость масштабирования, на уровне Spine рекомендуется зарезервировать порты в размере 20 %. Для выбора кабеля для разветвления: используйте оптику 400G ZR для соединений на большие расстояния (≥2 км) и активные оптические кабели 400G SR8 или AOC для соединений на короткие расстояния (<100 м). Чтобы обеспечить совместимость с существующими запасами оптики, обратитесь кСовместимость с 980-9I45J-00H010матрицу и расставьте приоритеты для сертифицированных модулей QSFP-DD/OSFP от квалифицированных поставщиков.

Рекомендации по масштабированию основаны на трехэтапном подходе:Этап 1 (первоначальный след): 2 коммутатора Spine + 16 Leaf, поддержка примерно 1000 серверов;Этап 2 (Расширение производительности): масштабирование до 4 Spine, удвоение пропускной способности восходящей линии связи Leaf для достижения совокупной пропускной способности коммутационной сети 50 Тбит/с;Фаза 3 (межсайтовое соединение): используйте порты 400G ZR на узлах Spine для прямого оптического транспортного подключения DCI, обеспечивая бесперебойную работу980-9I45J-00H010 решение для сетевого продуктарасширение в нескольких центрах обработки данных.

5. Мониторинг операций, устранение неполадок и рекомендации по оптимизации

На оперативном фронте решение создает замкнутый цикл, охватывающий «сбор данных → обнаружение аномалий → локализацию первопричины → автоматическое устранение»:

• Система мониторинга:Разверните NVIDIA NetQ или Prometheus+Grafana для сбора данных телеметрии в реальном времени (включая глубину очереди, частоту битовых ошибок в канале, температуру оптического модуля) из980-9I45J-00H010через gRPC с динамическим оповещением на основе пороговых значений.
• Превентивное предотвращение неисправностей:Используйте потоки данных INT для построения «тепловой карты» всей структуры, выявляя предвестники микровсплесков перегрузки и обеспечивая упреждающую корректировку начальных значений хэш-значений ECMP или пороговых значений ECN.
• Быстрая локализация границ разломов:При возникновении ухудшения качества связи используйте коды неисправностей и журналы событий, определенные вТехнический паспорт 980-9I45J-00H010, в сочетании с методами корреляции временных меток, для точного определения конкретного физического порта или приемопередатчика.
• Автоматическое исправление:Интегрируйтесь с Ansible или NVIDIA UFM (Unified Fabric Manager) для разработки сборников сценариев, которые автоматически отключают и изолируют неисправные порты, запуская перехват резервного канала.

Рекомендация по оптимизации. Для сценариев со смешанным трафиком (хранилище + вычисления + управление) настройте дифференцированные политики ECN и PFC на980-9I45J-00H010, назначая очереди с более высоким приоритетом для трафика хранилища, чтобы предотвратить потребление пропускной способности хранилища в результате вычислительных всплесков.

6. Резюме и оценка стоимости

Это техническое решение, построенное на основеNVIDIA Мелланокс 980-9I45J-00H010в качестве ядра Spine обеспечивает сеть центров обработки данных нового поколения, характеризующуюся задержкой менее микросекунды, нулевой потерей пакетов и прогнозирующими операциями. Сравнительный анализ показывает, что по сравнению с традиционными конструкциями коммутационных сетей 25G/100G эта архитектура может повысить производительность обучения ИИ примерно на 35 %, одновременно сокращая среднее время восстановления эксплуатационных неисправностей до 70 %. Хотя980-9И45Ж-00Х010 ценапредставляет собой более высокие первоначальные инвестиции по сравнению со стандартными коммутаторами, период окупаемости общей стоимости владения может быть ограничен 14–18 месяцами за счет повторного использования оптики (совместимость с существующими модулями 100G/200G), повышения энергоэффективности (снижение мощности на 40 % ватт на Гбит/с) и экономии при автоматизации операций.

В качестве всеобъемлющегоСетевой продукт 980-9I45J-00H010решение, это предложение одновременно удовлетворяет требованиям высокой пропускной способности980-9I45J-00H010 Высокоскоростная сеть центра обработки данныхи стандарты надежности, принятые вТехнические характеристики 980-9И45Ж-00Х010. Теперь продукт указан как980-9I45J-00H010 в продаже, а также сопутствующие руководства по развертыванию и наборы инструментов для автоматизации, опубликованные на официальном портале документации NVIDIA (см.Технический паспорт 980-9I45J-00H010). Для предприятий, планирующих модернизацию сети центров обработки данных, это решение предлагает баланс технических перспектив и осуществимости развертывания, создавая надежную сетевую основу для эпохи искусственного интеллекта.