NVIDIA Mellanox MCX631432AN-ADAB Серверный адаптер в действии: низкая задержка RDMA/RoCE и увеличение пропускной способности сервера

В современных средах центров обработки данных распределенное хранилище, учебные кластеры ИИ и высокочастотные транзакционные платформы имеют общее узкое место:задержка работы сети и нагрузки на процессор, вызванные традиционными стеками TCP/IPДля провайдера облачных сервисов среднего размера, испытывающего проблемы с несовместимой производительностью хранилища и перегруженными 25GbE-связями доступа, поиск решений, полностью освобождающих от загрузки оборудования, привел их кNVIDIA Mellanox MCX631432AN-ADABВ данном примере применения рассматривается, какКарта адаптера Ethernet MCX631432AN-ADABпреобразовали свою инфраструктуру из непредсказуемости, связанной с процессором, в линейную скорость, с низкой задержкой.

События и вызов: стоимость традиционной сети

Старая среда провайдера опиралась на стандартные 25GbE NIC с программным обеспечением iSCSI и NFS.Также использование процессора на узлах хранения часто превышает 60% только для сетевой обработки. Всплески задержки во время резервных окон и живых миграций вызывали задержки приложений. Архитекторы нуждались в двухпортовом решении 25GbE, которое могло бы разгрузить транспорт, обеспечить безопасность оборудования,и поддерживать RDMA без переписывания приложенийПосле рассмотренияФайл данных MCX631432AN-ADABи ранней обратной связи с сообществом, они выбралиMCX631432AN-ADAB ConnectX-6 Lx с двумя портами 25GbE SFP28проект как основа для капитального ремонта сети.

Решение и развертывание: обеспечение RoCE для хранения и вычислений

Внедрение заменило существующие NIC в 120 вычислительных узлах и 15 серверах храненияMCX631432AN-ADABКаждый адаптер был сконфигурирован для RoCE (RDMA over Converged Ethernet) с использованием ECN и PFC на существующих переключателях позвоночника.

• Разрешение на загрузку с использованием надежного оборудования и встроенную загрузку IPsec на всех адаптерах для выполнения требований соответствия.
• Миграция трафика хранилища из iSCSI в NVMe over Fabrics (NVMe-oF) с RoCE-транспортом, полностью поддерживаемыйMCX631432AN-ADAB Ethernet решения для адаптерных картСкладывай.
• Развертывание телеметрии на базе Cumulus Linux от NVIDIA для мониторинга производительности RoECE по портам и уведомлений о перегрузке.

По словам чиновникаСпецификации MCX631432AN-ADAB, адаптер обеспечивает аппаратную задержку менее 800 нс и поддерживает двунаправленную пропускную способность до 200 Гбит/с при сочетании с хостами PCIe 4.0.5μs задержка на уровне приложения для NVMe-oF показывает 14x улучшение по сравнению с предыдущим программным путем iSCSIИспользование процессора на серверах хранения упало с 58% до 11% во время пиковых тестов IOPS, благодаря полной загрузке протокола и динамическому регулированию прерываний.

Измеримые результаты и бизнес-выгоды

После четырех недель производства поставщик сообщил о трех основных достижениях:

• Подъем пропускной способности:Каждый узел хранилища теперь насыщает оба порта 25 Гбит/с (49,5 Гбит/с в совокупности), сохраняя подмикросекундный джиттер по сравнению с предыдущей эффективной пропускной способностью 18 Гбит/с.
• Последовательность задержки:99-й процентный процент задержки записи для распределенных баз данных снизился с 780 мкм до 94 мкм, устраняя временные задержки при ребалансировке кластеров.
• Простота работы:Один набор драйверов управляет как вычислительными, так и хранилищными адаптерами;Совместимость MCX631432AN-ADABЭкосистема включает в себя все основные дистрибутивы Linux, позволяющие обновления ядра без простоев.

Кроме того, группа оценилаMCX631432AN-ADAB ценаотносительно общей стоимости владения и установил, что аппаратное основание доверия адаптера и RoCE-загрузка исключают необходимость в отдельных устройствах шифрования и специальных RNIC,что приводит к снижению трехлетних TCO на 33%Для организаций, рассматривающих возможность расширения,MCX631432AN-ADAB для продажичерез крупных дистрибьюторов теперь предлагает ценообразование по объему, что делает крупномасштабные модернизации финансово жизнеспособными.

Резюме и прогнозы

ВNVIDIA Mellanox MCX631432AN-ADABЭто оказалось больше, чем простой сетевой интерфейс, он стал создателем истинной конвергентной ткани с низкой задержкой.провайдер раскрыл весь потенциал своего NVMe-хранилища и сократил расход энергии на сервер в среднем на 18 ВтПоскольку центры обработки данных продолжают использовать дезагрегированное хранилище и ИИ в режиме реального времени,MCX631432AN-ADAB ConnectX-6 Lx с двумя портами 25GbE SFP28адаптер предлагает зрелый, хорошо документированный и широко используемый путь к успеху RDMA / RoCE.ИТ-архитекторы, стремящиеся к повторяемому улучшению производительности, могут с уверенностью ссылаться на этот случай при планировании своих собственных инициатив по модернизации 25GbE.