Практика применения: NVIDIA Mellanox MCX631102AN-ADAT RDMA/RoCE Низкозадержный транспорт и повышение пропускной способности серверов

В распределенных системах хранения данных, высокопроизводительных вычислениях и кластерах для обучения ИИ задержка сети и нагрузка на ЦП стали основными узкими местами, ограничивающими производительность серверов. Поставщик облачных услуг недавно модернизировал свой бэкэнд хранения NVMe-oF, выбрав сетевой адаптер NVIDIA Mellanox MCX631102AN-ADAT. Развернув RDMA over Converged Ethernet (RoCEv2), они добились сквозной передачи с низкой задержкой и значительного увеличения пропускной способности сервера. В этом тематическом исследовании рассматривается производительность адаптера в производственной среде.

Предпосылки и проблемы: узкое место стека протоколов TCP/IP

Существующая инфраструктура 25GbE провайдера обрабатывала трафик хранения с использованием традиционного программного стека TCP/IP. В сценариях NVMe/TCP утилизация ЦП для инкапсуляции и декапсуляции пакетов превышала 40%, что приводило к задержкам хранения выше 200 мкс и значительному снижению вычислительной мощности на серверах приложений. Архитекторам срочно требовалось решение, которое могло бы обойти сетевой стек ядра, уменьшить вмешательство ЦП и поддерживать пропускную способность на уровне линии на двойных 25GbE каналах. После оценки нескольких вариантов они выбрали MCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28 в качестве основного аппаратного обеспечения для модернизации их сети хранения данных.

Решение и развертывание: RDMA/RoCEv2 с аппаратными разгрузками

При развертывании все серверы, ориентированные на хранение данных, были заменены на сетевой адаптер MCX631102AN-ADAT, работающий в режиме RoCEv2 без потерь (с использованием ECN и PFC). Ключевые этапы развертывания включали:

• Включение SR-IOV и выделение виртуальных функций (VF) для виртуальных машин хранения данных, обходя сетевой стек гипервизора
• Конфигурирование NVMe over Fabrics (NVMe-oF) с транспортом RDMA, полностью устраняющее накладные расходы TCP
• Настройка порогов буферизации коммутаторов для трафика RoCE 25GbE без потерь в топологии leaf-spine

Технические характеристики MCX631102AN-ADAT — включая аппаратные временные метки, динамический транспорт соединений (DCT) и векторизованный приемный движок — были полностью использованы для обеспечения предсказуемой задержки менее микросекунды даже при совокупной нагрузке 50 Гбит/с.

Измеренные приросты производительности и операционные преимущества

После миграции на сеть на базе NVIDIA Mellanox MCX631102AN-ADAT были зафиксированы следующие метрики:

Инженеры отметили, что решение MCX631102AN-ADAT Ethernet adapter card solution обеспечило предсказуемую хвостовую задержку, подходящую для баз данных аналитики в реальном времени. Кроме того, освободившиеся ядра ЦП были переназначены для рабочих нагрузок приложений, что увеличило общую плотность арендаторов примерно на 24% на тех же физических серверах.

Совместимость и интеграция с экосистемой

При расширении развертывания команда эксплуатации проверила, что адаптер MCX631102AN-ADAT совместим с их существующими коммутаторами NVIDIA Spectrum (профили RoCE без потерь), а также со сторонними коммутаторами ToR от Arista и Cisco с конфигурацией DCBX. Для планирования закупок они ссылались на технический паспорт MCX631102AN-ADAT, чтобы проверить энергетические характеристики (типично около 12 Вт) и тепловые требования. Первоначальные оптовые запросы подтвердили, что цена MCX631102AN-ADAT остается конкурентоспособной по сравнению с аналогичными SmartNIC, при этом несколько дистрибьюторов предлагают MCX631102AN-ADAT для продажи по стандартным объемным соглашениям.

Резюме и перспективы

Производственный кейс наглядно демонстрирует, что MCX631102AN-ADAT обеспечивает фундаментальный переход от сетей хранения данных, ограниченных TCP, к сетям, ускоренным RDMA, без необходимости полной модернизации инфраструктуры до 100GbE. Используя конструкцию MCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28, организации могут удвоить эффективную пропускную способность для чувствительных к задержкам рабочих нагрузок, одновременно высвобождая значительные ресурсы ЦП. В дальнейшем такая же схема развертывания будет распространена на распределенные фреймворки машинного обучения (NCCL через RoCE) и приложения с состоянием на основе микросервисов. Для архитекторов, оценивающих модернизацию до 25GbE, NVIDIA Mellanox MCX631102AN-ADAT является проверенным, готовым к производству строительным блоком для высокопроизводительных сетей центров обработки данных с низкой задержкой.