Серверный адаптер Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT в действии

Сетевой адаптер Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT в действии | Транспорт с низкой задержкой RDMA/RoCE и оптимизация пропускной способности сервера

В сценарии гибридного развертывания крупной интернет-компании с эластичными bare-metal серверами и инференсом ИИ сетевая задержка и нагрузка на ЦП стали критическими барьерами для масштабирования использования ГП и производительности хранилища. Команде инфраструктуры требовалось решение, которое могло бы обеспечить задержку менее микросекунды для распределенных задач обучения, одновременно поддерживая высокопроизводительный трафик хранилища NVMe-oF — и все это без дорогостоящих обновлений существующей кабельной инфраструктуры. Данное исследование рассматривает, как MCX623106AN-CDAT от Mellanox (NVIDIA Mellanox) решил эти проблемы и превратил сетевую фабрику в настоящий вычислительный ускоритель.

Обзор и проблемы: когда 25G сетевые карты достигли предела

Производственная среда состояла из более чем 1200 вычислительных узлов, разделенных на две зоны доступности, на которых работали смешанные службы онлайн-инференса, офлайн-обучение ИИ и распределенное объектное хранилище. Существующие 25G Ethernet-адаптеры, хотя и были достаточны для базового подключения, испытывали трудности при одновременных нагрузках. Ключевые проблемы включали:

• Высокая загрузка ЦП: Обработка стека TCP/IP на основе программного обеспечения потребляла до 35% ядер ЦП на узлах хранения во время пиковых всплесков ввода-вывода.
• Нестабильная задержка: Задержка хвоста (p99) для распределенных операций all-reduce часто превышала 50 мкс, вызывая недоиспользование ГП во время синхронизации параметров.
• Узкое место хранилища: Трафик NVMe-oF по сети Ethernet с потерями страдал от потери пакетов, вызывая повторные передачи, которые снижали эффективную пропускную способность почти на 40%.

После оценки множества альтернатив, включая проприетарный InfiniBand и конкурирующие 25G сетевые карты, команда выбрала NVIDIA Mellanox MCX623106AN-CDAT за его уникальное сочетание аппаратного ускорения RoCEv2, программируемого пути данных и широкой совместимости с платформами.

Решение и подход к развертыванию

Стратегия развертывания была сосредоточена на трех столпах: включение RDMA/RoCE, активация интеллектуальной разгрузки и постегранная миграция парка серверов. Каждый вычислительный узел получил один Ethernet-адаптер MCX623106AN-CDAT, заменив сетевые карты предыдущего поколения без изменения базовой медной/оптической инфраструктуры 25G.

С точки зрения конфигурации команда использовала техническое описание MCX623106AN-CDAT для точной настройки следующих параметров:

• Настройка RoCEv2 PFC (Priority Flow Control): Были определены выделенные без потерь классы трафика для хранилища (NVMe-oF) и коллективных вычислений ИИ, в то время как трафик наилучших усилий оставался в отдельных очередях с потерями.
• Включены аппаратные разгрузки: Были активированы разгрузка туннелей VXLAN/NVGRE, сегментация контрольной суммы и LRO (Large Receive Offload) для уменьшения вмешательства ЦП на пакет.
• Программируемость, готовая к DPU: Используя ASAP², команда развернула легковесные правила потоков для направления трафика хранилища непосредственно к конечным точкам NVMe-oF, минуя сетевой стек ядра полностью.

Проверка совместимости была простой: список совместимых с MCX623106AN-CDAT охватывал все модели серверов в парке (Dell PowerEdge R750 и серия Supermicro Ultra), а существующие узлы на базе Red Hat OpenShift и Ubuntu без проблем приняли новые драйверы.

Результаты и измеримые преимущества

После трех недель производственного развертывания на 40% парка серверов прирост производительности был немедленно заметен. Следующая таблица суммирует ключевые показатели до и после:

Помимо количественных улучшений, команда инженеров сообщила о качественном сдвиге в операционной стабильности. Аппаратные механизмы PFC и ECN (Explicit Congestion Notification) гарантировали, что трафик хранилища оставался практически без потерь, устраняя каскадные штормы повторных передач, которые ранее влияли на SLA приложений. Более того, сетевая карта PCIe адаптера MCX623106AN-CDAT ConnectX обрабатывала шифрование IPSec на полной скорости для трафика межзонной репликации, позволяя команде безопасности применять политики нулевого доверия без развертывания выделенных устройств шифрования.

Резюме и перспективы на будущее

Данное развертывание подчеркивает, что решение Ethernet-адаптера MCX623106AN-CDAT — это не просто инкрементальное обновление сетевой карты, а стратегический инструмент для современных архитектур центров обработки данных. Сочетая аппаратное ускорение RoCEv2, гибкую программируемость и комплексные возможности разгрузки, адаптер эффективно преобразует стандартную Ethernet-фабрику в инфраструктурный слой с низкой задержкой и высокой эффективностью. ИТ-организация теперь планирует расширить развертывание на все оставшиеся узлы и активно оценивает технические характеристики MCX623106AN-CDAT для проектирования Spine-Leaf следующего поколения со скоростью 50G.

Для архитекторов инфраструктуры и ИТ-менеджеров, сталкивающихся с аналогичными потолками производительности, MCX623106AN-CDAT предлагает убедительный, проверенный путь. Как отметил один старший архитектор: "Мы достигли лучшей задержки, чем с нашими предыдущими 25G сетевыми картами, при половинной стоимости ЦП, и нам не пришлось перекабеливать ни одного стойки." Благодаря широкой экосистеме совместимых с MCX623106AN-CDAT и конкурентному ценовому позиционированию MCX623106AN-CDAT, этот адаптер имеет все шансы стать стандартным выбором для развертываний 25G RoCE — будь то рабочая нагрузка обучения ИИ, распределенное хранилище или аналитика в реальном времени.