Техническое решение серверного адаптера NVIDIA Mellanox MCX4121A-ACAT

Это техническое решение предназначено для сетевых архитекторов, инженеров по предпродажной подготовке и руководителей операций. В нем подробно описано, какNVIDIA Mellanox MCX4121A-ACATСерверный адаптер обеспечивает транспортировку с малой задержкой на основе RDMA/RoCE и значительно повышает пропускную способность сервера в современных средах центров обработки данных.

1. Предыстория проекта и анализ требований

Традиционные сети TCP/IP накладывают фундаментальные ограничения на рабочие нагрузки, чувствительные к производительности, такие как распределенные базы данных, хранилища NVMe-oF и аналитика в реальном времени. Ключевые болевые точки включают высокую нагрузку на ЦП при обработке сетевого стека, непредсказуемую задержку из-за повторной передачи пакетов и неэффективное копирование памяти между пространством ядра и приложения.

Для решения этих проблем современным центрам обработки данных требуется сетевое решение, которое обеспечивает:

• Сквозная задержка менее 10 микросекунд для хранилища и трафика HPC
• Обход ядра и прямой доступ к памяти для снижения нагрузки на процессор
• Фабрика Ethernet без потерь с поддержкой 25GbE на порт
• Бесшовная интеграция с существующей инфраструктурой Ethernet

MCX4121A-ACATРешение на базе RoCE напрямую удовлетворяет этим требованиям, сохраняя при этом совместимость со стандартными экосистемами коммутации.

2. Общий проект архитектуры сети и системы.

Предлагаемая архитектура использует топологию Leaf-Spine с Ethernet без потерь на уровнях доступа 25GbE. Каждый вычислительный сервер или сервер хранения оснащен одним или двумяКарты адаптера Ethernet MCX4121A-ACAT, подключение к листовым коммутаторам через кабели ЦАП SFP28 или оптические трансиверы. Листовые коммутаторы поддерживают протоколы моста центра обработки данных (DCB), включая управление приоритетным потоком (PFC) и расширенный выбор передачи (ETS), которые необходимы для трафика RoCE.

Для проектов с высокой доступностью двухпортовые адаптеры позволяют использовать конфигурации «активный-активный» или аварийное переключение. Уровень позвоночника объединяет конечные коммутаторы с использованием восходящих каналов 100GbE, обеспечивая неблокирующую полосу пропускания для шаблонов трафика восток-запад. Ключом к этой конструкции является отделение трафика хранилища RoCE от обычного трафика управления TCP/IP с использованием VLAN и классов QoS.

3. Роль NVIDIA Mellanox MCX4121A-ACAT и основные характеристики

NVIDIA Mellanox MCX4121A-ACATслужит критически важным компонентом конечной точки, обеспечивающим RDMA через Converged Ethernet. Этот двухпортовый адаптер 25GbE SFP28, созданный на базе ASIC ConnectX-4 Lx, обеспечивает следующие возможности аппаратного ускорения:

• Разгрузка оборудования RoCE:Полная обработка транспорта RDMA в микросхеме, исключающая накладные расходы на программное обеспечение
• Сопоставление тегов и восстановление дверного звонка:Аппаратное надежное управление соединениями
• Виртуализация SR-IOV:До 256 виртуальных функций на порт для плотности контейнеров и виртуальных машин
• ГПУДирект RDMA:Прямой доступ к памяти графического процессора для обучающих кластеров AI/ML
• Разгрузка оверлейной сети:Аппаратная инкапсуляция/декапсуляция для VXLAN, NVGRE и Geneve

MCX4121A-ACAT ConnectX-4 Lx, двухпортовый 25GbE SFP28Адаптер также поддерживает расширенные функции, включая адаптивную маршрутизацию, контроль перегрузки и разгрузку пакетного буфера. Для планирования интеграцииТехническое описание MCX4121A-ACATпредоставляет подробные электрические, тепловые и механические характеристики.

4. Рекомендации по развертыванию и масштабированию (примеры топологии)

Типичная топология — 25GbE RoCE Fabric для более чем 100 узлов:

• Уровень доступа:48-портовые листовые коммутаторы 25GbE с поддержкой DCB
• Слой позвоночника:32-портовые коммутаторы 100GbE Spine
• Серверный адаптер: MCX4121A-ACAT(двухпортовый) в слоте PCIe 3.0 x8
• Кабели:Пассивный ЦАП SFP28 для внутри стойки (≤5 м), активный оптический для нескольких стоек

Шаги развертывания:

• Проверьте настройки BIOS сервера (развилка PCIe, включение SR-IOV, декодирование выше 4G)
• УстановитьNVIDIA Mellanox MCX4121A-ACATпрошивка с помощью инструментов mlxup или MST
• Настройте порты коммутатора: приоритет PFC 3–5, выделение полосы пропускания ETS, доверие DSCP.
• Включите RoCE на хосте: установите режим RoCE на v2 (удобный для маршрутизации), настройте префикс GID.
• Проверьте поведение без потерь с помощью мониторинга ibdiagnet и cqcounter.

Для масштабирования до 500+ узлов рассмотрите возможность развертывания отдельной структуры хранения данных RoCE, чтобы изолировать трафик хранилища от производственных коммуникаций «восток-запад».Совместимость с MCX4121A-ACATЭкосистема включает всех основных OEM-производителей серверов и поставщиков коммутаторов, что обеспечивает плавное масштабирование.

5. Эксплуатация, мониторинг, устранение неполадок и оптимизация.

Ключевые показатели мониторинга:

• Отбрасывание пакетов RoCE (указывает на проблемы с настройкой PFC)
• Глубина очереди завершения отправки/получения RDMA
• Ошибки портов, CRC и переподготовка каналов
• Загрузка ЦП на ядро ​​(измерение эффективности обхода ядра)

Основные инструменты:

• melanox_perf – измерение пропускной способности/задержки на уровне адаптера
• ibdiagnet – проверка структуры RoCE и диагностика кабеля
• ethtool -S – статистика по очереди и счетчики разгрузки
• syslog/dmesg — отслеживание событий драйверов и прошивки

Рекомендации по оптимизации:

• Установите NRPE (скорость приема сети включена) для обеспечения многопотоковой справедливости.
• Настройте объединение прерываний (модерацию) в зависимости от типа рабочей нагрузки.
• Для рабочих нагрузок хранилища привяжите завершения RDMA к выделенным ядрам ЦП.
• ИспользоватьТехнические характеристики MCX4121A-ACATдля проверки температурных пределов при постоянной нагрузке на линейной скорости

Когда бюджет и источники поставок становятся важными факторами, проверьтеЦена MCX4121A-ACATтенденции иMCX4121A-ACAT на продажуНаличие у официальных дистрибьюторов. Объемные закупки обычно снижают затраты на единицу продукции, обеспечивая при этом подлинную поддержку встроенного ПО.

6. Резюме и оценка стоимости

Решение для карты адаптера Ethernet MCX4121A-ACATобеспечивает количественные преимущества по нескольким направлениям:

Помимо чистой производительности, решение снижает совокупную стоимость владения за счет консолидации сетей хранения и передачи данных в единую структуру Ethernet без потерь.MCX4121A-ACATпозволяет организациям сохранить существующие инвестиции в коммутаторы, одновременно раскрывая возможности RDMA, ранее зарезервированные для InfiniBand. Для команд, планирующих архитектуру центра обработки данных следующего поколения, этот адаптер обеспечивает проверенный, масштабируемый путь к созданию серверной сети с низкой задержкой и высокой пропускной способностью.