NVIDIA Mellanox MCX4121A-ACAT Server Adapter в действии.

Крупный поставщик облачных услуг столкнулся со знакомой проблемой при создании своего распределенного кластера хранения нового поколения. По мере расширения кластера до сотен узлов накладные расходы на ЦП и дрожание задержки на уровне микросекунд, присущие традиционному стеку TCP/IP, серьезно ограничивали производительность NVMe-oF и распределенных баз данных. После тщательной оценки команда выбрала NVIDIA Mellanox MCX4121A-ACAT для модернизации своей сетевой инфраструктуры, используя технологию RDMA/RoCE для фундаментального преобразования путей передачи данных.

Обзор и проблема: узкое место TCP/IP в трафике East-West

В современных центрах обработки данных трафик East-West (связь между серверами) доминирует в общих схемах трафика. Для распределенной платформы хранения данных провайдера каждая операция ввода-вывода требовала нескольких сетевых циклов. Обычный стек TCP потреблял более 30% ядер ЦП только для обработки протокола, вызывая непредсказуемые всплески задержки, которые снижали производительность приложений. Команде требовалось решение, которое могло бы обойти ядро, уменьшить вмешательство ЦП и обеспечить стабильную задержку менее микросекунды во всем кластере.

Решение и развертывание: развертывание MCX4121A-ACAT для транспорта RoCE

Провайдер развернул сетевую карту Ethernet MCX4121A-ACAT на 120 узлах хранения, каждый из которых был оснащен двухпортовым подключением 25GbE. Основанный на архитектуре ConnectX-4 Lx, MCX4121A-ACAT ConnectX-4 Lx с двумя портами 25GbE SFP28 позволил беспрепятственно развернуть RoCE (RDMA over Converged Ethernet) без необходимости использования выделенной инфраструктуры InfiniBand. Ключевые параметры развертывания включали:

• Приоритетное управление потоком (PFC) и расширенный выбор передачи (ETS), настроенные на всех коммутаторах ToR.
• Маркировка ECN включена для транспорта RoCE с учетом перегрузки.
• Роли инициатора и целевого устройства NVMe-oF, сопоставленные непосредственно с аппаратными механизмами разгрузки адаптера.

Согласно техническому описанию MCX4121A-ACAT, аппаратная разгрузка транспорта адаптером устраняет необходимость участия ЦП в перемещении данных. Команда проверила совместимость с их существующим дистрибутивом Linux и оптикой SFP28, подтвердив, что экосистема MCX4121A-ACAT совместима и соответствует всем требованиям.

Результаты и преимущества: измеримое увеличение пропускной способности и снижение задержки

Тестирование после развертывания выявило драматические улучшения. Таблица ниже суммирует ключевые показатели производительности до и после миграции на решение MCX4121A-ACAT:

Помимо сухих цифр, характеристики MCX4121A-ACAT привели к реальным операционным преимуществам. Задержка репликации распределенной базы данных снизилась более чем на 80%, что позволило использовать более агрессивные гарантии согласованности. IOPS при чтении/записи NVMe-oF удвоились, а ядра ЦП узлов хранения, ранее занятые обработкой сетевого стека, были перепрофилированы для фактических служб данных. Провайдер также отметил, что решение на базе сетевой карты Ethernet MCX4121A-ACAT снизило общую стоимость владения — потребовалось меньше узлов для достижения той же общей производительности.

Для организаций, оценивающих аналогичные модернизации, цена MCX4121A-ACAT позиционирует его как экономически эффективную альтернативу проприетарным решениям для межсоединений. Несколько дистрибьюторов теперь предлагают MCX4121A-ACAT для продажи с оптовыми ценами, что делает крупномасштабные развертывания RoCE все более доступными.

Резюме и перспективы: план для центров обработки данных с низкой задержкой

Это развертывание демонстрирует, что NVIDIA Mellanox MCX4121A-ACAT — это больше, чем просто обновление спецификаций, это фундаментальный инструмент для высокопроизводительных распределенных систем. Сочетая пропускную способность двух портов 25GbE с аппаратной разгрузкой транспорта RoCE, адаптер решает давнее противоречие между производительностью сети и эффективностью ЦП. Поскольку кластеры обучения ИИ, дезагрегированное хранилище и аналитика в реальном времени продолжают требовать более низкой задержки и более высокой пропускной способности, MCX4121A-ACAT предоставляет проверенный, готовый к производству путь вперед. Архитекторам сетей и ИТ-менеджерам, которым нужен надежный, высокопроизводительный серверный адаптер, больше не нужно искать, кроме этого мощного устройства ConnectX-4 Lx.