NVIDIA Mellanox MCX556A-ECAT Серверный адаптер Техническая книга.

Технический документ NVIDIA Mellanox MCX556A-ECAT для серверов | Оптимизация RDMA/RoCE с низкой задержкой и пропускной способности сервера

1. Предпосылки проекта и анализ требований

Современные центры обработки данных претерпевают фундаментальные изменения, обусловленные искусственным интеллектом, высокопроизводительными вычислениями (HPC) и аналитикой в реальном времени. Эти рабочие нагрузки требуют беспрецедентной производительности сети — не только высокой пропускной способности, но и детерминированной низкой задержки, эффективного перемещения данных с минимальной нагрузкой на ЦП и бесшовной масштабируемости. Традиционные сетевые адаптеры Ethernet, полагающиеся на программные стеки TCP/IP, стали значительным узким местом, потребляя 20–30% ядер ЦП и вызывая непредсказуемые колебания задержки, которые снижают производительность приложений. Для организаций, работающих в больших масштабах, эта неэффективность напрямую приводит к увеличению затрат на инфраструктуру и замедлению получения ценной информации.

В этом техническом документе представлено комплексное техническое решение, ориентированное на серверный адаптер NVIDIA Mellanox MCX556A-ECAT. Разработанный для предприятий, стремящихся максимизировать отдачу от своих инвестиций в 100GbE, сетевой адаптер Ethernet Сетевой адаптер Ethernet MCX556A-ECAT обеспечивает аппаратное ускорение RDMA over Converged Ethernet (RoCE), позволяя осуществлять без потерь транспорт с низкой задержкой, который превращает сетевой ввод-вывод из недостатка в стратегический актив. Решение специально разработано для достижения трех основных целей: (1) достижение сквозной задержки приложения менее 10 мкс, (2) снижение накладных расходов на сетевую обработку ЦП до менее чем 5% и (3) обеспечение масштабируемой, перспективной основы для 100GbE и выше.

2. Общая архитектура сети и системы

Рекомендуемая архитектура использует высокопроизводительную топологию leaf-spine с 100GbE в качестве уровня доступа к серверам и восходящими каналами 400GbE к spine. В основе этой конструкции лежит сетевой адаптер PCIe Сетевой адаптер PCIe MCX556A-ECAT ConnectX, развернутый в каждом вычислительном узле и узле хранения данных в сети. Архитектура построена на пяти ключевых принципах:

• Без потерь в сети Ethernet: Использование RoCE v2 с PFC (Priority Flow Control) и ECN (Explicit Congestion Notification) на всех коммутаторах для устранения потерь пакетов и обеспечения детерминированной задержки для трафика RDMA.
• Аппаратное разгрузка везде: Разгрузка обработки транспортного уровня — включая контрольные суммы, сегментацию (LSO/LRO), тегирование VLAN и RDMA — на адаптер, освобождая циклы ЦП для логики приложений.
• Активно-активное резервирование: Использование обоих портов QSFP28 в режиме агрегации каналов (LACP) для общей пропускной способности 200 Гбит/с и автоматического переключения при сбое с восстановлением менее чем за секунду.
• Сегментация трафика: Выделенные классы трафика для хранения данных (NVMe-oF), вычислений (MPI/RDMA) и управления, обеспечивающие предсказуемое качество обслуживания (QoS) для всех рабочих нагрузок.
• Масштабируемая плоскость управления: Централизованное управление через коммутаторы NVIDIA Spectrum со встроенной телеметрией и автоматизацией через REST API и Ansible плейбуки.

Решение полностью совместимости MCX556A-ECAT с ведущими серверными платформами (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) и бесшовно интегрируется с основными операционными системами (Linux, Windows Server, VMware ESXi). Для хранения данных архитектура поддерживает NVMe-oF поверх RoCE, обеспечивая совместное использование дисковых ресурсов с задержками, приближающимися к локальным дискам NVMe.

3. Роль и ключевые особенности NVIDIA Mellanox MCX556A-ECAT

Являясь основополагающим компонентом этого решения, NVIDIA Mellanox MCX556A-ECAT выполняет три критически важные роли в архитектуре:

Ключевые технические характеристики, извлеченные из техническому описанию MCX556A-ECAT, включают интерфейс хоста PCIe 3.0/4.0 x16, комплексные возможности разгрузки (контрольная сумма, LSO/LRO, удаление/вставка VLAN, RSS) и расширенную телеметрию на порт. Энергоэффективность адаптера (обычно менее 15 Вт) и широкая поддержка операционных систем делают его универсальным строительным блоком для гетерогенных сред. Технические характеристики MCX556A-ECAT также подчеркивают поддержку совместимости с 25GbE и 40GbE, предлагая гибкость развертывания для сред со смешанной скоростью.

4. Рекомендации по развертыванию и масштабированию

Для новых развертываний мы рекомендуем двухъярусную топологию leaf-spine с доступом 100GbE и восходящими каналами 400GbE к spine. Каждый сервер оснащен одним Сетевой адаптер Ethernet MCX556A-ECAT, оба порта QSFP28 подключены к отдельным коммутаторам leaf для резервирования. Сеть RoCE требует согласованной конфигурации QoS на всех коммутаторах — в частности, PFC на приоритете 3 (для трафика RDMA) и приоритете 4 (для хранения данных), с маркировкой ECN для тех же классов трафика. Мы рекомендуем выделять отдельные VLAN для трафика RoCE, управления и хранения данных для упрощения мониторинга и устранения неполадок.

Для существующих сред с существующей инфраструктурой 40GbE, решение сетевого адаптера Ethernet MCX556A-ECAT предлагает плавный путь миграции. Поскольку адаптер обратно совместим с оптикой 40GbE QSFP+, существующая кабельная инфраструктура может быть повторно использована во время поэтапного перехода на 100GbE. Адаптер также поддерживает стандартную коммутацию Ethernet без обязательного включения RoCE, что позволяет командам сначала развернуть оборудование, а затем поэтапно активировать возможности RDMA по мере развития сети и оправдания перехода рабочими нагрузками.

Масштабирование решения за пределы 50 узлов требует дополнительных соображений. Мы рекомендуем внедрить выделенную стратегию управления перегрузками RoCE с использованием коммутаторов NVIDIA Spectrum со встроенной телеметрией и динамической настройкой пороговых значений ECN. Для кластеров, превышающих 200 узлов, рассмотрите возможность развертывания централизованного контроллера управления сетью (например, NVIDIA Cumulus NetQ) для поддержания сквозной видимости и согласованности автоматической конфигурации. MCX556A-ECAT для продажи через глобальных партнеров NVIDIA включает комплексную гарантию и поддержку обновлений прошивки, обеспечивая долгосрочную надежность в больших масштабах.

5. Эксплуатация, мониторинг, устранение неполадок и оптимизация

Эффективная эксплуатация сети RoCE требует многоуровневой стратегии мониторинга и устранения неполадок:

• Телеметрия на уровне адаптера: Технические характеристики MCX556A-ECAT включают счетчики на порт для кадров PFC, пакетов с маркировкой ECN, потерянных кадров и ошибок связи. Используйте mlx5cmd, ethtool или инструменты прошивки NVIDIA для экспорта этих метрик на панели мониторинга Prometheus/Grafana.
• Мониторинг на уровне коммутатора: Отслеживайте заполнение буферов, количество паузовых кадров, глубину очередей и частоту маркировки ECN на коммутаторах spine и leaf. Внезапное увеличение паузовых кадров указывает на микроперегрузку, которая может потребовать настройки пороговых значений ECN.
• Метрики на уровне приложения: Для приложений RDMA отслеживайте задержки завершения WR (Work Request), события переполнения CQ (Completion Queue) и количество ошибок QP (Queue Pair) с помощью библиотек NVIDIA libibverbs и rdma-core.

Распространенные сценарии устранения неполадок и рекомендуемые действия:

• Снижение производительности RoCE: Проверьте, включен ли PFC на всех портах коммутатора и соответствует ли маркировка DSCP конфигурации коммутатора. Используйте техническому описанию MCX556A-ECAT для проверки настроек распределения буферов в соответствии с рекомендуемыми значениями для вашего профиля рабочей нагрузки.
• Перебои в работе канала или ошибки CRC: Проверьте качество кабелей QSFP28 и убедитесь, что прошивка адаптера обновлена до последней версии. Убедитесь, что кабели соответствуют спецификациям IEEE 802.3bj для 100GBASE-SR4 или LR4.
• ЦП по-прежнему загружен, несмотря на разгрузку: Убедитесь, что RDMA фактически используется (а не возвращается к TCP), проверяя счетчики драйверов, журналы приложений и состояния соединений.
• Взаимная блокировка PFC или шторм паузы: Проверьте неправильно настроенные приоритеты и убедитесь, что PFC включен только для классов трафика RoCE (не для трафика управления или хранения данных).

Для оптимизации мы рекомендуем следующие параметры настройки на основе обширной лабораторной проверки:

• Слияние прерываний (модерация): Установите значение 4–8 мкс для смешанных рабочих нагрузок (торговля + хранение) для балансировки задержки и эффективности ЦП.
• MTU RDMA: Увеличьте до 4096 байт для рабочих нагрузок хранения данных, чтобы уменьшить накладные расходы протокола и повысить пропускную способность.
• RSS (Receive Side Scaling): Настройте на нескольких ядрах ЦП для трафика, не относящегося к RDMA, чтобы распределить обработку и избежать насыщения одного ядра.
• Пороги ECN: Установите минимальный порог на 50% буфера и максимальный порог на 80% для трафика приоритета 3, корректируя в зависимости от наблюдаемых шаблонов перегрузки.

6. Резюме и оценка ценности

Решение NVIDIA Mellanox MCX556A-ECAT обеспечивает трансформационную ценность для современных центров обработки данных. Заменяя программный TCP/IP аппаратным ускорением RDMA/RoCE, организации могут добиться снижения задержки на уровне приложений в 5–10 раз, сократить накладные расходы ЦП на сеть более чем на 80% и увеличить плотность серверных контейнеров на 30–50%. Сетевой адаптер Ethernet MCX556A-ECAT обеспечивает экономически эффективный путь к внедрению 100GbE с защитой инвестиций благодаря обратному совместимости с 40GbE и перспективным возможностям разгрузки для новых рабочих нагрузок.

При оценке общей стоимости владения цена MCX556A-ECAT компенсируется значительной экономией эксплуатационных расходов: сокращение количества серверов (за счет более высокой утилизации), снижение затрат на охлаждение (благодаря<15W power draw), and elimination of separate InfiniBand or proprietary RDMA fabrics. The solution is fully совместимости MCX556A-ECAT с основными экосистемами с открытым исходным кодом и корпоративными экосистемами, включая Kubernetes, Apache Spark, TensorFlow и VMware vSphere, обеспечивая широкую применимость в корпоративных, HPC и облачных развертываниях.