NVIDIA Mellanox MCX4121A-ACAT серверный адаптер в действии: разблокировка производительности RDMA/RoCE с низкой задержкой

NVIDIA Mellanox MCX4121A-ACAT в действии: раскрытие низколатентной производительности RDMA/RoCE и повышение пропускной способности сервера

Модель: MCX4121A-ACAT | Бренд: NVIDIA Mellanox | Категория: 25GbE серверный адаптер | Ключевые возможности: низколатентная передача RDMA/RoCE и оптимизация пропускной способности сервера

Предпосылки и проблемы: сетевые узкие места в распределенных хранилищах и выводе моделей ИИ

Для команды инфраструктуры крупной интернет-компании всесторонняя оценка производительности, проведенная в начале 2025 года, выявила критические сетевые узкие места, которые незаметно влияли на работу. Кластер вывода моделей ИИ и системы распределенных хранилищ компании полагались на 10GbE Ethernet, который постоянно демонстрировал высокую задержку и чрезмерную загрузку ЦП во время фаз загрузки моделей и синхронизации данных. Ситуация была особенно острой в сценариях доступа к хранилищам NVMe-oF, где накладные расходы на переключение контекста и прерывания традиционного стека TCP/IP серьезно ограничивали производительность хранилищ, ограничивая загрузку GPU примерно 65%. Команда срочно нуждалась в высокопроизводительном, низколатентном решении для серверного подключения, чтобы полностью раскрыть потенциал своих серверных хранилищ и ускорителей ИИ.

После обширных исследований команда сосредоточилась на 25GbE Ethernet-адаптерах, особенно тех, которые поддерживают RDMA (Remote Direct Memory Access) и RoCEv2 (RDMA over Converged Ethernet v2). RoCEv2 обещал обойти ядро операционной системы и обеспечить передачу данных с обходом ЦП, теоретически обеспечивая значительное снижение задержки и накладных расходов на ЦП. Однако эффективная передача RDMA предъявляет строгие требования к аппаратным возможностям разгрузки адаптера и механизмам управления перегрузками от конца до конца. Этот контекст создал идеальную возможность для NVIDIA Mellanox MCX4121A-ACAT войти в конвейер оценки.

Решение и развертывание: создание сети хранения данных, оптимизированной для RDMA, вокруг MCX4121A-ACAT

После детального изучения технического описания MCX4121A-ACAT и проверки его спецификаций MCX4121A-ACAT по внутренним эталонным показателям, команда архитекторов решила развернуть адаптер как на узлах вывода моделей ИИ, так и на серверных фронтендах хранилищ. Конструкция MCX4121A-ACAT ConnectX-4 Lx с двумя портами 25GbE SFP28 позволяла каждому серверу подключаться через два оптических волокна к двум разным коммутаторам в фабрике leaf-spine, обеспечивая избыточность каналов и балансировку нагрузки.

Стратегия развертывания включала три ключевых этапа:

• Установка оборудования и проверка совместимости: Команда сначала проверила список совместимых серверов с MCX4121A-ACAT, чтобы обеспечить бесшовную интеграцию с существующими хостами на базе x86 и ARM. Каждый адаптер был установлен в слот PCIe 3.0 x8, после чего была установлена драйверная программа из официального источника NVIDIA.
• Конфигурация сети RoCEv2 без потерь: PFC (Priority Flow Control) и ECN (Explicit Congestion Notification) были включены в коммутационной инфраструктуре с поддержкой RoCEv2. Протоколы DCBx (Data Center Bridging Exchange) были настроены для обеспечения передачи без потерь для трафика RDMA по Ethernet, обеспечивая стабильную основу для Ethernet-адаптерной карты MCX4121A-ACAT, чтобы раскрыть все ее возможности RDMA.
• Оптимизация стека протоколов хранения данных: Целевые устройства NVMe-oF были развернуты на серверах хранения, а инициаторы NVMe-oF были настроены на серверах приложений. Используя аппаратные движки разгрузки адаптера, все запросы ввода-вывода хранилища инкапсулировались как операции RDMA, эффективно обходя сетевой стек ядра.

На протяжении всего процесса развертывания NVIDIA Mellanox MCX4121A-ACAT демонстрировал истинную простоту подключения (plug-and-play), сократив первоначально оцененные двухнедельные усилия по интеграции до трех дней.

Измеримые результаты: значительный прирост производительности и освобождение ресурсов

После одного месяца эксплуатации команда задокументировала существенные улучшения по ключевым показателям, наглядно демонстрируя ценность, предоставляемую MCX4121A-ACAT:

Помимо фактических показателей производительности, команда оценила рентабельность инвестиций, учитывая цену MCX4121A-ACAT по сравнению с общей стоимостью владения. Значительное снижение использования ЦП позволило нескольким серверам, которые ранее планировались для модернизации мощностей, остаться в эксплуатации, что напрямую сэкономило затраты на закупку оборудования. Кроме того, снижение задержки улучшило время отклика онлайн-сервисов вывода моделей с 120 мс до 45 мс, обеспечив заметно лучшее взаимодействие с конечным пользователем. Оценив варианты MCX4121A-ACAT для продажи и сравнив соотношение цены и производительности, компания пришла к выводу, что этот адаптер представляет собой высокоэффективное решение для доступа 25GbE.

Резюме и перспективы: построение низколатентной инфраструктуры, готовой к будущему

Благодаря этому производственному развертыванию интернет-компания успешно подтвердила реальную ценность NVIDIA Mellanox MCX4121A-ACAT. Являясь краеугольным камнем комплексного решения для Ethernet-адаптера MCX4121A-ACAT, адаптер не только устранил сетевые узкие места в рабочих нагрузках хранения данных и ИИ, но и значительно повысил общую эффективность пропускной способности сервера. Этот пример наглядно демонстрирует, что в эпоху 25GbE выбор адаптера с надежными возможностями разгрузки RDMA является решающим для раскрытия потенциала ЦП и снижения критически важных для бизнеса задержек.

Заглядывая в будущее, команда планирует расширить развертывание MCX4121A-ACAT на дополнительные сценарии использования, включая системы обработки онлайн-транзакций и системы контроля рисков в реальном времени, далее используя его низколатентные характеристики для финансовых приложений. Опираясь на этот успех, отдел инфраструктуры начал оценивать продукты 100GbE и следующего поколения, но MCX4121A-ACAT—благодаря своей зрелой архитектуре ConnectX-4 Lx и широкой совместимости с экосистемой—продолжит служить ключевым узлом, обеспечивая прочную основу для постоянной эволюции дата-центра компании.