NVIDIA Mellanox MCX653106A-HDAT в действии: достижение прорывов в области транспорта RDMA/RoCE с низкой задержкой и пропускной способности серверов

В современных средах центров обработки данных, охватывающих распределенное хранилище, высокочастотную торговлю и кластеры обучения ИИ, остаются две постоянные проблемы:снижение задержки, вызванной сетью, и максимизация пропускной способности сервера без нагрузки на ЦПЭто приложение глубокого погружения исследует, как ведущий поставщик облачной инфраструктуры решает эти проблемы, развертываяNVIDIA Mellanox MCX653106A-HDATсерверный адаптер через их вычислительные и хранилищные узлы.

История и вызов

Существующая инфраструктура провайдера 25GbE, основанная на стандартных адаптерах Ethernet с программным обеспечением TCP/IP, демонстрировала явные ограничения.Рабочие нагрузки на хранение с использованием NVMe over Fabrics испытывали непредсказуемые пики задержки (часто превышающие 50 мкм), в то время как кластеры баз данных страдали от высокой загрузки процессора, до 35% ядер потреблялись только сетевой обработкой.Инженерная группа нуждалась в решении, которое могло бы обеспечить задержку до 10 мкс для транзакций RDMA и поддерживать пропускную способность 200 Гбит без необходимости полного ремонта архитектуры.

После оценки нескольких вариантов они обратились кКарта адаптера MCX653106A-HDAT Ethernet, который обещал аппаратно-разгруженную RoCE (RDMA over Converged Ethernet) и бесшовную интеграцию с существующей топологией Cumulus Linux.

Решение и подход к развертыванию

Развертывание было сосредоточено вокругMCX653106A-HDAT ConnectX адаптер PCIe сетевая картаКаждый вычислительный узел получал один адаптер, в то время как узлы хранения были оснащены двумя для избыточности.Ключевые шаги реализации:

• Разрешение на RoCEv2 с PFC (Priority Flow Control) и ECN (Explicit Congestion Notification) для обеспечения беспроблемной транспортировки
• Конфигурация SR-IOV для выделения виртуальных функций для высокоприоритетных нагрузок базы данных и хранилища
• Распространение новейшихСовместимость MCX653106A-HDATстек драйверов (NVIDIA DOCA 2.5) на узлах Ubuntu 22.04 LTS
• Внедрение аппаратного ускорения DPDK для путей обработки пакетов

На основанииЛист данных MCX653106A-HDATи проверки до развертывания, команда прогнозировала аппаратную задержку менее 1 мкм и до 215 миллионов пакетов в секунду (MPPS) для небольших пакетов транзакций, которые руководили планированием их мощности.

Результаты и измеримые выгоды

После четырехнедельного пилотного эксперимента на 50 производственных узлах команда инфраструктуры задокументировала следующие улучшения при сравненииNVIDIA Mellanox MCX653106A-HDATпротив их устаревших адаптеров:

Помимо необработанных цифр, инженерная группа отметила, чтоРешение карты адаптера MCX653106A-HDAT EthernetУстранены ранее необходимые обходные пути, такие как прерывание слияния и чрезмерные буферы приема.Аппаратные отгрузки адаптера для VXLAN и Geneve также упростили их контейнерный сетевой стек, уменьшая задержку под-под на 40% в среде Kubernetes.

Для ИТ-менеджеров, оценивающих затраты,MCX653106A-HDAT ценаПо сравнению с аналогичными решениями 200GbE показано, что общая стоимость владения на 15-20% ниже, когда учитываются экономии на ядре процессора и снижение использования портов коммутаторов.MCX653106A-HDAT для продажизапросы со стороны соседних команд, включая HPC и аналитику в реальном времени, уже были представлены для следующего цикла закупок.

Резюме и прогнозы

Развертывание подтверждает, чтоNVIDIA Mellanox MCX653106A-HDATЭто не просто обновление спецификации, но функциональный скачок для латентно-чувствительных и пропускных способностей.,и GPUDirect-ready architecture  организации могут достичь детерминированной микросекундной задержки при одновременном использовании циклов процессора для логики приложений.

По мере того, как инфраструктурная команда расширяет свое внедрение до 500+ узлов,Они также изучают встроенное в адаптер встроенное шифрование (IPsec / TLS) для безопасности для нескольких пользователей и PTP (IEEE 1588v2) для финансовых услуг нагрузки.Для инженеров, ищущих проверенные конфигурации,Спецификации MCX653106A-HDATЭтот реальный случай ясно показывает одну вещь:MCX653106A-HDAT ConnectX адаптер PCIe сетевая картаОн выполняет обещание Ethernet с низкой задержкой и высокой пропускной способностью для дата-центров нового поколения.

Для более глубокого технического обзора обратитесь к официальномуЛист данных MCX653106A-HDATили свяжитесь с вашим региональным архитектором решения NVIDIA.