NVIDIA Mellanox MCX556A-ECAT Техническое решение: RDMA/RoCE для оптимизации транспорта с низкой задержкой и пропускной способности сервера

This technical white paper is intended for network architects, pre-sales engineers, and operations managers. Он фокусируется на том, как создавать сети, которые работают на компьютерах.NVIDIA Mellanox MCX556A-ECATServer Adapter и обеспечивает систематическую основу для создания высокопроизводительных, низкозадержных сетей дата-центра с использованием технологии RDMA и RoCE.

Современные рабочие нагрузки на центры обработки данных, включая распределенное хранилище (Ceph, Lustre), базы данных в памяти (Redis, Aerospike) и AI-обучающие структуры, требуют как высокой пропускной способности, так и латентности до миллисекунд.Традиционные TCP/IP стеки вводят значительную перегрузку процессора.Ключевые требования для инфраструктуры следующего поколения включают:CPU offload (reducing host processor utilization) (уменьшение использования процессора хоста), ultra-low and predictable latency (especially for tail latency), lossless transport for storage protocols (NVMe-oF, iSER), and seamless integration with existing Ethernet infrastructure.MCX556A-ECATпрямо обращается к каждому из этих требований.

Рекомендуемая архитектура использует двухуровневую топологию листья-позвоночника с беспроходным Ethernet, сконфигурированным для RoCE (RDMA over Converged Ethernet) транспорта.Все вычислительные и хранилищные узлы оборудованыMCX556A-ECAT Ethernet адаптерная картаSpine Switches aggregate leaf-layer traffic, providing non-blocking core bandwidth. Ключевые архитектурные принципы включают:

• Separation of control and data planes: отделение планов управления и данныхRoCEv2 инкапсулирует RDMA в UDP/IP, позволяя маршрутизацию через Layer 3 boundaries.
• Контроль приоритета потока (PFC):Enables lossless behavior for RDMA traffic classes. Устройство позволяет вести себя без потерь для классов трафика RDMA
• Улучшенная передача выбора (ETS):Гарантирует пропускную способность для чувствительных к задержке потоков.
• Уведомление о перегрузке:Using DCQCN (Data Center Quantized Congestion Notification) for end-to-end flow control. Использование DCQCN (Квантизированное оповещение о перегрузке центра данных) для управления потоком данных.

The architecture supports both bare-metal and virtualized environments, with SR-IOV providing direct passthrough of virtual functions to VMs. Архитектура поддерживает как просто-металлические, так и виртуализированные среды, при этом SR-IOV обеспечивает прямой проход виртуальных функций к виртуальным машинам.

В качествеMCX556A-ECAT ConnectX адаптер PCIe сетевая карта, этот адаптер служит краеугольным камнем решения. Его аппаратно-основанный двигатель отгрузки обходит ядро, позволяя прямую передачу данных от памяти к памяти.

Для команд, изучающихMCX556A-ECAT datasheetиMCX556A-ECAT спецификацииОбратите внимание, что адаптер поддерживает как PCIe 3.0 и 4.0 (x16), обеспечивая обратную совместимость с существующими серверами, предлагая путь миграции на платформы следующего поколения.

A reference deployment for a medium-sized cluster (up to 200 nodes) is described below. TheMCX556A-ECATis installed in each server's PCIe slot, with dual-port connectivity for redundancy and bandwidth aggregation. Он устанавливается в каждом сервере PCIe слота, с двойным портом подключения для избыточности и агрегации пропускной способности.

• Физическая топология:Each leaf connects to all spines (full mesh). Each server connects to two leaves (active-active bonding). Each server connects to two leaves (active-active bonding). Each leaf connects to all spines (full mesh). Each server connects to two leaves (active-active bonding).
• Конфигурация RoCE:Dedicated VLAN for RoCE traffic. DSCP-based QoS marking (e.g., DSCP 46 for RDMA).
• Управление буфером:Configure lossless headroom buffers per port based on round-trip time and link distance. Конфигурируйте безотходные буферы головного пространства на порту на основе времени круглого пути и расстояния связи.
• Адрес:Используйте статические IP-задания или DHCP-резервации для интерфейсов RDMA.

Scaling beyond 200 nodes: Introduce a super-spine layer and deploy BGP-EVPN for Layer 2 extension across multiple pods. Проверяйте, что BGP-EVPN работает с несколькими узлами.MCX556A-ECAT совместимаOptics and cables from qualified vendors (e.g., Mellanox, FS.com). When evaluatingMCX556A-ECAT ценадля крупномасштабных закупок, рассмотрим ценообразование с коммутаторами и оптикой.

Эффективная работа на основе RoCE требует проактивного мониторинга и специализированных инструментов:

• Мониторинг эффективности:ИспользованиеmlxlinkиЭфтоол.для статистики ссылок (BER, FEC errors).MCX556A-ECAT Ethernet adapter card solutionвключает телеметрию через PCM (Performance Counters Monitor).
• Выявление заторы:Мониторинг ECN-маркированных пакетов и PFC pause frames using switch telemetry (например, Mellanox SNMP MIBs). Высокие частоты паузы показывают буферное давление.
• Управление прошивкой и драйверами:Regularly update to latest versions from NVIDIA OFED. ИспользоватьМстфлинт.для проверки прошивки.
• Обычное устранение проблем:For RDMA connection failures, verify MTU consistency, VLAN membership, and DSCP-to-CoS mappings. ИспользоватьИбдев2нетдевиRdma Link Show (РДМА)чтобы проверить состояние устройства.
• Советы по оптимизации:Tune DCQCN parameters (alpha, beta, rate increase timer) based on workload. For storage workloads, increase completion queue depth. For AI training, enable GPUDirect RDMA and pin memory. Для хранения рабочей нагрузки, увеличить глубину очереди завершения.

Для планирования потенциала, обратитесь кMCX556A-ECAT datasheetThe adapter is widely used for thermal and power specifications (typical 15W).MCX556A-ECAT на продажучерез авторизованных дистрибьюторов, включая программы запасного снабжения.

ВMCX556A-ECATобеспечивает измеримую ценность в трех измерениях:производительность(до 90% уменьшение задержки приложения, 4x увеличение пропускной способности),эффективность(70% отгрузки процессора, меньшая мощность на ГБ/с), иобщая стоимость владения(консолидированная инфраструктура, уменьшенное количество серверов, более низкие расходы на охлаждение).NVIDIA Mellanox MCX556A-ECATAs part of a RoCE-based solution can expect ROI within 6~12 months, depending on workload intensity. Для следующего поколения центров обработки данных, охватывающих ИИ, HPC, или программное обеспечение,Этот адаптер представляет собой проверенныйЧтобы начать, запроситеMCX556A-ECAT datasheetи подтвердитьMCX556A-ECAT совместимаConfigurations с вашим поставщиком коммутаторов.