Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT серверный адаптер в действии.

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT серверный адаптер в действии

В крупномасштабном интернет-компании эластичный голый металл и ИИ вывод гибридный сценарий развертывания,Сетевая задержка и расходы на ЦП стали критическими барьерами для масштабирования использования GPU и производительности хранилища.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureВ данном тематическом исследовании рассматривается, какMCX623106AN-CDATКомпания NVIDIA Mellanox решила эти проблемы и превратила сетевую структуру в настоящий ускоритель вычислений.

Опыт и проблемы: когда 25G NIC достигают своих пределов

Производственная среда состояла из более чем 1200 вычислительных узлов, разделенных на две зоны доступности, работающих с сочетанием онлайн-сервисов выводов, оффлайн-тренингов ИИ и распределенного хранения объектов.Существующие адаптеры Ethernet 25GОсновные проблемы включали в себя:

• Высокое использование процессора: Программная обработка стека TCP/IP потребляла до 35% сердец процессора на узлах хранения во время пиковых I/O всплесков.
• Несоответствующая задержка: задержка хвоста (p99) для распределенных операций с полной редукцией часто превышает 50 мкм, что приводит к недостаточному использованию GPU во время синхронизации параметров.
• Запрет на хранение: NVMe-oF трафик по Ethernet с потерями пострадал от пакета падений, вызвав ретрансляции, которые ухудшили эффективную пропускную способность почти на 40%.

После оценки нескольких альтернатив, включая собственные InfiniBand и конкурирующие 25G NIC, команда выбралаNVIDIA Mellanox MCX623106AN-CDATза уникальное сочетание аппаратного ускорения RoCEv2, программируемого пути передачи данных и широкой совместимости платформ.

Решение и подход к развертыванию

Стратегия развертывания была сосредоточена на трех столпах:Разрешение RDMA/RoCE,умная активация отгрузки, ипостепенная миграция флота. Каждый вычислительный узел получил одинКарта адаптера Ethernet MCX623106AN-CDAT, заменив NIC предыдущего поколения без изменения базовой инфраструктуры 25G в области меди/волокна.

С точки зрения конфигурации, команда использовалаФайл данных MCX623106AN-CDATдля уточнения следующих параметров:

• Настройка RoCEv2 PFC (Приоритетный контроль потока): Для хранения данных (NVMe-oF) и коллективных коммуникаций с ИИ были определены специальные классы трафика без потерь, в то время как трафик с наилучшими результатами оставался в отдельных очередях с потерями.
• Разгрузка оборудования разрешена: VXLAN/NVGRE туннельная отгрузка, сегментация контрольной суммы и LRO (Large Receive Offload) были активированы для уменьшения вмешательства CPU на пакет.
• Программируемость готовая к DPU: Используя ASAP2, команда развернула легкие правила потока, чтобы направить трафик хранилища непосредственно к конечным точкам NVMe-oF, полностью обойдя сетевой стек ядра.

Подтверждение совместимости было простым.Совместимость MCX623106AN-CDATСписок охватывал все модели серверов в парке (Dell PowerEdge R750 и Supermicro Ultra серии), а существующие узлы Red Hat OpenShift и Ubuntu без проблем приняли новые драйверы.

Результаты и измеримые выгоды

После трех недель производственного развертывания на 40% парка вычислительных устройств результаты были сразу же заметны.

Помимо количественных улучшений, инженерная группа сообщила о качественном изменении операционной стабильности.Механизмы PFC и ECN (Explicit Congestion Notification), основанные на аппаратном обеспечении, гарантировали, что трафик хранилища остается практически без потерь., устраняя каскадные штормы ретрансляции, которые ранее влияли на SLA приложений.MCX623106AN-CDAT ConnectX адаптер PCIe сетевая картаобработанное шифрование IPSec с частотой строки для репликационного трафика между зонами, что позволяет команде безопасности применять политику нулевого доверия без использования специальных устройств шифрования.

Резюме и перспективы

Это развертывание подчеркивает, чтоMCX623106AN-CDAT Ethernet решение для карты адаптераЭто не просто инкрементальное обновление NIC, это стратегический инструмент для современных архитектур центров обработки данных.и всеобъемлющие возможности разгрузки, адаптер эффективно преобразует стандартный Ethernet-текст в низкозадержанный, высокоэффективный уровень инфраструктуры.ИТ-организация в настоящее время планирует расширить развертывание на все оставшиеся узлы и активно оцениваетСпецификации MCX623106AN-CDATдля следующего поколения 50G Spine-Leaf.

Для архитекторов инфраструктуры и ИТ-менеджеров, столкнувшихся с аналогичными потолками производительности,MCX623106AN-CDATКак отметил один старший архитектор:"Мы достигли лучшей задержки, чем наши предыдущие 25G NIC, при половине затрат на процессор, и нам не пришлось перекабелировать ни один рак".Со своей толпойСовместимость MCX623106AN-CDATэкосистемы и конкурентоспособностиMCX623106AN-CDAT ценаПозиционирование, этот адаптер хорошо подготовлен для того, чтобы стать выбором по умолчанию для развертывания 25G RoCE, независимо от того, является ли рабочая нагрузка обучением ИИ, распределенным хранилищем или аналитикой в реальном времени.

Тэги:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx Развертывание RDMA/RoCE Сеть с низкой задержкой Оптимизация производительности сервера