NVIDIA Mellanox MCX653106A-HDAT Серверный адаптер в действии: низколатентная передача RDMA/RoCE и сервер

В современных средах центров обработки данных, начиная от распределенного хранилища и высокочастотного обмена до крупномасштабных кластеров обучения ИИ, традиционные стеки протоколов TCP/IP стали основным узким горлом.Общие расходы на сетевые сети ядра, копирование данных и переключение контекста потребляет значительные ресурсы процессора при введении непредсказуемой задержки.В данном тематическом исследовании рассматривается, как ведущий поставщик облачной инфраструктуры преодолел эти проблемы, развернувNVIDIA Mellanox MCX653106A-HDATсервер NIC, достигнув значительного улучшения как задержки, так и пропускной способности.

Существующая инфраструктура провайдера 25GbE, работающая по стандартному TCP, изо всех сил пыталась идти в ногу с трафиком хранилища NVMe-oF и рабочими нагрузками аналитики в режиме реального времени.Использование процессора на узлах хранения часто превышало 70% только для сетевой обработки, оставляя недостаточно пространства для логики приложения.вызывающие всплески задержки, которые повлияли на соглашения уровня обслуживанияИнженерная группа признала, что необходим фундаментальный сдвиг в сетевой архитектуре, который обойдет ядро и позволит прямой доступ к памяти между конечными точками.

После оценки нескольких вариантов команда выбралаКарта адаптера MCX653106A-HDAT EthernetПостроенный на архитектуре ConnectX-6, этотMCX653106A-HDAT ConnectX адаптер PCIe сетевая картаобеспечивает подключение 100GbE с двумя портами с поддержкой RoCE (RDMA over Converged Ethernet).

• Первый этап:Заменить устаревшие NIC в узлах хранения (10 узлов с Ceph) новым адаптером.
• Фаза 2:Конфигурировать беспотери Ethernet с использованием DCB (Priority Flow Control и ETS) как на NIC, так и на верхних переключателях.
• Фаза 3:Мигрировать трафик приложений из TCP-сокетов на RDMA-ориентированные глаголы и NVMe-oF через RoCE.
• Фаза 4:Расширить развертывание на вычислительные узлы, обрабатывающие аналитику в реальном времени.

Инженеры, консультирующиеЛист данных MCX653106A-HDATиСпецификации MCX653106A-HDATподтвердили полную совместимость с существующей тканью переключателей Mellanox и развернутым дистрибутивом Linux (Ubuntu 22.04 с драйверами MLNX_OFED).Совместимость MCX653106A-HDATЭкосистема оказалась всеобъемлющей, не требуя никаких аппаратных изменений, кроме замены самой NIC.

Пост-развертывание тестирования показало существенное улучшение во всех ключевых показателях.

Помимо этих количественных преимуществ, команда наблюдала несколько качественных преимуществ.Решение карты адаптера MCX653106A-HDAT Ethernetпозволяет перемещать данные между памятью приложения и удаленным хранилищем, устраняя проблемы с истощением буфера, которые ранее вызывали периодические сбои во время перебоев трафика.Для аналитической нагрузки, переход на RDMA сократил сроки завершения работы на 62%, что напрямую улучшает результаты бизнеса.MCX653106A-HDAT ценаПо сравнению с общими затратами на владение, 30% сокращение числа узлов хранения (из-за более высокой эффективности на узел) окупилось в течение девяти месяцев.MCX653106A-HDAT для продажичерез партнеров NVIDIA также включен доступ к структуре DOCA, разблокируя будущую программируемость для пользовательских сетевых функций.

РазвертываниеNVIDIA Mellanox MCX653106A-HDATпреобразовала инфраструктуру провайдера из среды, ограниченной TCP, в высокопроизводительную, с низкой задержкой, способную поддерживать современные нагрузки.,Интерфейс PCIe 4.0 и всеобъемлющая программная экосистема отвечают трем критическим требованиям современных центров обработки данных: снижение задержки, увеличение пропускной способности и повышение эффективности процессора.

Для архитекторов, оценивающих подобные модернизации, путь начинается с проверкиСовместимость MCX653106A-HDATКомпоненты, включая коммутаторы, кабели и операционные системы.Лист данных MCX653106A-HDATПоскольку ткани 200GbE становятся стандартом, а кластеры обучения ИИ требуют все более низкой задержки,Карта адаптера MCX653106A-HDAT Ethernetпоставщик теперь расширяет развертывание с включением GPU direct RDMA для нагрузок вывода ИИ,Дальнейшее подтверждение этого адаптера как краеугольного камня современной архитектуры центра обработки данных.