Серверный адаптер NVIDIA Mellanox MCX653105A-HDAT в действии: транспорт и сервер RDMA/RoCE с малой задержкой
June 15, 2026
В современных центрах обработки данных распределенное хранилище, высокопроизводительные вычисления (HPC) и кластеры обучения ИИ сталкиваются с общим узким горлом: сетью.Традиционные стеки TCP/IP вводят значительную задержку и затраты на ЦПВ данном тематическом исследовании рассматривается, как средний облачный провайдер решает эти проблемы, развертываяNVIDIA Mellanox MCX653105A-HDATсерверный адаптер, чтобы обеспечить транспорт с низкой задержкой на основе RDMA / RoCE и значительно увеличить пропускную способность сервера.
История и проблемы: когда каждая микросекунда имеет значение
Существующая инфраструктура провайдера 25GbE, работающая по стандарту TCP/IP, изо всех сил пыталась поддерживать их новый бэк-энд для хранения NVMe-over-Fabrics.Использование процессора на узлах хранения регулярно превышало 70% только от сетевой обработки, и интер-узловая задержка колебалась около 50μs, что неприемлемо для их чувствительных к задержке нагрузок баз данных.Перегрузка сети вызвала всплески задержки, которые повлияли на SLA приложенийОни нуждались в решении, которое могло бы снять сетевые нагрузки, обеспечить задержку до микросекунды и поддерживать постоянную производительность при нагрузке.
Решение и развертывание: внедрение сетевой карты PCIe MCX653105A-HDAT ConnectX Adapter
После оценки нескольких вариантов команда выбралаКарта адаптера MCX653105A-HDAT Ethernetдля его возможности 100GbE с двумя портами и поддержки RoCE (RDMA over Converged Ethernet).NVIDIA Mellanox MCX653105A-HDATбыла развернута на 120 узлах хранения и вычисления с следующей конфигурацией:
- RoCE включенос ECN (Explicit Congestion Notification) и DCQCN для контроля перегруженности
- NVMe-oF цель разгрузкина аппаратное обеспечение, обходя хост-CPU для хранилища I/O
- Разделениев беспроигрышные приоритетные потоки для трафика хранения
- Телеметрический мониторингс использованием встроенных в адаптер счетчиков производительности
СогласноЛист данных MCX653105A-HDAT, карта поддерживает как протоколы InfiniBand, так и Ethernet, но команда выбрала RoCEv2, чтобы интегрироваться с существующими коммутаторами Ethernet.все основные модели серверов былиСовместимость MCX653105A-HDATРазвертывание было завершено в течение двух выходных с нулевым временем простоя, используя функции миграции адаптера.
Результаты и преимущества: Измеримые результаты
В следующей таблице обобщены ключевые показатели до и после развертыванияРаствор карты MCX653105A-HDAT Ethernet адаптер:
| Метрический | До (TCP/IP) | После (RoCE + MCX653105A-HDAT) | Улучшение |
|---|---|---|---|
| Средняя задержка (от узла к узлу) | 52 мс | 10,8 μs | 96Снижение на 0,5% |
| Использование процессора (узло хранилища, сетевой стек) | 72% | 8% | Снижение на 89% |
| Эффективная пропускная способность на узел (NVMe-oF) | 18 Гбит/с | 96 Гбит/с | 5Увеличение в 3 раза |
| Стойкость задержки (99,9 процентиля) | 380 мс | 12 мс | 96Снижение на 0,8% |
Помимо этих показателей, команда отметила дополнительные операционные преимущества.Спецификации MCX653105A-HDATПри оценке общей стоимости владения, ASAP2 обеспечивает более эффективное использование данных, в том числе оборудование для отслеживания соединений и ASAP2 для отгрузки потоков, что уменьшает напряженность движения между востоком и западом и позволяет более плавно масштабировать.MCX653105A-HDAT ценаЭто было оправдано в течение шести месяцев снижением расходов на лицензирование центрального процессора и более высокой плотностью хранилища на узел.MCX653105A-HDAT для продажичерез стандартные каналы, делая эту работу доступной для организаций всех размеров.
Резюме и перспективы: Фонд инфраструктуры нового поколения
Этот случай показывает, чтоMCX653105A-HDAT ConnectX адаптер PCIe сетевая картаЭто не просто более быстрый NIC это платформа для подлинного обработки данных, ориентированной на данные.NVIDIA Mellanox MCX653105A-HDATпреобразует способ связи серверов, устраняя нагрузку на устаревшие протоколы и раскрывая полный потенциал NVMe-хранилища и распределенной памяти.
В перспективе поставщик планирует расширить свое развертывание, чтобы включить GPUDirect RDMA для учебных нагрузок ИИ,а также изучить возможности программирования адаптера для пользовательской обработки пакетовДля ИТ-архитекторов и сетевых инженеров, столкнувшихся с аналогичными проблемами масштабирования,Карта адаптера MCX653105A-HDAT Ethernetпредлагает проверенный, готовый к будущему путь к сетям центров обработки данных с низкой задержкой и высокой пропускной способностью.