Прорыв в низкой задержке RDMA/RoCE и пропускной способности сервера

Быстрорастущая лаборатория исследований в области ИИ столкнулась с распространенной проблемой: их инфраструктура 100GbE обеспечивала пропускную способность на скорости линии, но задержка приложений оставалась неизменно высокой. Распределенные задачи обучения страдали от частых сетевых джиттеров, а доступ к хранилищу NVMe-over-Fabrics добавлял непредсказуемые задержки. Коренная причина? Традиционные стеки TCP/IP потребляли почти 30% ядер ЦП только для обработки пакетов, оставляя меньше вычислительных ресурсов для фактических рабочих нагрузок. Команде требовался фундаментальный сдвиг — перемещение данных без нагрузки на основной ЦП. Этот поиск привел их к оценке серверной сетевой карты Mellanox (NVIDIA Mellanox) MCX653105A-HDAT.

Лаборатория развернула MCX653105A-HDAT на 24 вычислительных узлах, каждый из которых оснащен двухпортовым подключением 100GbE. Как нативная сетевая карта PCIe ConnectX MCX653105A-HDAT, она поддерживает аппаратное разгрузку RoCE (RDMA over Converged Ethernet), позволяя данным обходить ядро и перемещаться непосредственно между областями памяти. Процесс настройки был простым: после проверки серверов, совместимых с MCX653105A-HDAT(Supermicro и Dell PowerEdge), инженеры установили последние драйверы MLNX_OFED и включили RoCE с управлением перегрузками DCQCN. Сетевой адаптер Ethernet MCX653105A-HDAT немедленно разгрузил сетевую обработку от ЦП, снизив накладные расходы на программное обеспечение почти до нуля.

Для трафика хранилища команда сопоставила пространства имен NVMe напрямую через RDMA. NVIDIA Mellanox MCX653105A-HDAT обрабатывал перемещение данных с задержкой менее микросекунды, в то время как аппаратное управление обеспечивало изоляцию между вычислительными потоками и потоками хранения. Согласно технического описания MCX653105A-HDAT, адаптер поддерживает совокупную пропускную способность до 200 Гбит/с, и на практике лаборатория достигла скорости линии 100 Гбит/с на порт без единого потерянного пакета при полной нагрузке.

• Снижение сквозной задержки на 50%:Тесты MPI ping-pong снизились с 2,8 мкс (TCP) до 1,4 мкс (RoCE).
• Использование ЦП сокращено на 70%:Обработка сетевого стека полностью перенесена на аппаратное обеспечение, освободив ядра для обучения моделей.
• IOPS хранилища удвоились:NVMe-oF через RDMA устранил программный мост, снизив задержку для доступа к блокам малого размера ниже 10 мкс.

Команда также проверила характеристик MCX653105A-HDAT в своей производственной среде: интерфейс PCIe 4.0 x16, двухслотная тепловая конструкция и полная поддержка уведомлений о перегрузках RoCE. Для планирования мощностей они рассмотрели цену MCX653105A-HDAT по сравнению с общей стоимостью владения — адаптер окупился в течение трех месяцев за счет сокращения количества серверов и повышения плотности рабочих нагрузок. При поиске MCX653105A-HDAT для продажи через авторизованных дистрибьюторов они нашли несколько вариантов конфигурации (однопортовый, двухпортовый, с безопасной загрузкой или без нее).

Это развертывание подтверждает, что NVIDIA Mellanox MCX653105A-HDAT — это больше, чем просто высокоскоростная сетевая карта, это полноценная платформа ускорения данных. Перенося сетевую обработку на аппаратное обеспечение и обеспечивая истинное RDMA/RoCE, организации могут освободиться от сетевых ограничений ЦП без капитальных обновлений. Независимо от того, запускаете ли вы обучение ИИ, распределенные базы данных или гиперконвергентное хранилище, сетевая карта PCIe ConnectX MCX653105A-HDAT обеспечивает детерминированную низкую задержку и максимальную пропускную способность. Для команд, планирующих следующее обновление инфраструктуры, изучение технического описания MCX653105A-HDAT и характеристик MCX653105A-HDAT является логичным первым шагом. Адаптер широко MCX653105A-HDAT для продажи через глобальных дистрибьюторов, а совместимость с ведущими серверными платформами обеспечивает плавный путь миграции. Как резюмировал один из инженеров: «Сетевой адаптер Ethernet MCX653105A-HDAT превратил нашу сеть 100GbE из узкого места в множитель производительности».