NVIDIA Mellanox MCX653106A-HDAT Серверный адаптер Техническая белая книга RDMA/RoCE Низкозадержный транспорт и выпуск сервера

September 11, 2026

NVIDIA Mellanox MCX653106A-HDAT Серверный адаптер Техническая белая книга RDMA/RoCE Низкозадержный транспорт и выпуск сервера

NVIDIA Mellanox MCX653106A-HDAT Серверный адаптер Техническая книга.

1. Анализ контекста и требований проекта

Современные нагрузки на центры обработки данных, включающие искусственный интеллект, высокопроизводительные вычисления (HPC), распределенные базы данных,и корпоративного хранения . Традиционные TCP/IP-сетевые стеки, хотя и повсеместны, вводят задержку и расходы на ЦП, которые становятся запрещающими в масштабе.обучение распределенному машинному обучению, и анализ в реальном времени требует детерминированной задержки менее 5 микросекунд и аппаратно-ускоренного движения данных для достижения оптимальной производительности.

Сетевые архитекторы и руководители инфраструктуры все чаще используют RDMA по конвергированному Ethernet (RoCE) в качестве транспортного средства для этих критически важных рабочих нагрузок.Успешное развертывание RoCE зависит от способности базового адаптера отгружать обработку транспорта., эффективно управлять перегрузкой и плавно интегрироваться с существующими Ethernet-технологиями без необходимости обновления вилочного погрузчика.и HPC среды включают:

  • Задержка RDMA от конца до конца менее 3 микросекунд для чувствительных к задержке приложений, таких как высокочастотная торговля и базы данных в памяти
  • Совокупная пропускная способность, превышающая 100 Гбит/с на сервер для поддержки узлов хранения данных высокой плотности и компьютерных кластеров с ускорением GPU
  • Выгрузка аппаратного обеспечения для GPUDirect для устранения копий памяти на стороне хоста в нагрузках на ИИ и HPC
  • Беспотерительный Ethernet-транспорт с PFC и ECN для детерминированной работы без джиптера
  • Всеобъемлющая телеметрия и программируемый путь передачи данных для проактивной оперативной видимости и устранения неполадок

ВNVIDIA Mellanox MCX653106A-HDATнапрямую отвечает этим требованиям с помощью своей передовой архитектуры ConnectX, предоставляющей аппаратно-ускоренный RoCEv2, передовой управление перегрузкой,и всеобъемлющую структуру программируемости, подходящую для самых требовательных корпоративных и облачных сред.

2. Общий дизайн сетевой и системной архитектуры

Предлагаемая архитектура решения использует топологию листья-позвоночника с подключением 25/50/100GbE на уровне доступа к серверу.MCX653106A-HDAT ConnectX адаптер PCIe сетевая картаАрхитектура включает в себя четыре различных слоя:

  • Вычислительный/хранилищный край:ВКарта адаптера MCX653106A-HDAT Ethernetподключается через PCIe Gen 4.0 x16 к хосту,предоставление до 256 ГБ/с двунаправленной пропускной способности хоста достаточно, чтобы полностью насытить двойные порты 100 ГбЭ, сохраняя при этом свободное пространство для быстрого трафика и будущих обновлений скорости.
  • Сетевой материал:Двойные порты поддерживают гибкие носители (SFP28 для 25GbE, QSFP для 50/100GbE) с активным балансированием активной нагрузки и аппаратной отгрузкой LAG.Адаптер поддерживает общую пропускную способность до 200 Гбит/с с аппаратным отказом.
  • Транспортный слой RDMA:Аппаратно-ускоренный RoCEv2 с полной разгрузкой сегментации, сборки, контроля перегрузки и обработки завершения.Адаптер поддерживает до 200 миллионов сообщений в секунду (Mpps) с задержкой до микросекунды.
  • Управление и телеметрия:Управление вне полосы с полной поддержкой Redfish и SNMP, дополненной внутриполосной телеметрией для мониторинга тканей в режиме реального времени и оптимизации производительности.

Дизайн подчеркивает конвергентную, беспроигрышную Ethernet ткань, гдеNVIDIA Mellanox MCX653106A-HDATслужит конечной точкой RDMA, позволяющей прямые передачи памяти в память без вмешательства хост-CPU.Совместимость MCX653106A-HDATс существующей инфраструктурой коммутации Ethernet, требующей только поддержки PFC и ECN, - функции, обычно доступные в современных коммутаторах центров обработки данных от всех основных поставщиков.

3. Роль и основные характеристики NVIDIA Mellanox MCX653106A-HDAT

ВMCX653106A-HDATиграет центральную роль в архитектуре, обеспечивая четыре различных уровня ценности, которые в совокупности позволяют создавать сети с низкой задержкой и высокой пропускной способностью:

A. аппаратно-ускоренный двигатель RDMA
Адаптер включает в себя полностью программируемый пакет обработки трубопровода, который разгружает RoCEv2 транспортных операций, включая сегментацию, сборку, контроль перегрузки,и обработка завершения полностью от хост-CPUСогласноЛист данных MCX653106A-HDAT, аппаратное обеспечение поддерживает производительность по скорости передачи по всем размерам пакетов, с максимальной скоростью передачи сообщений 200 Мпп и задержкой от конца до конца до микросекунды.

B. GPUDirect & NVMe-oF Отогрузки
Ключевой отличительMCX653106A-HDATявляется его интегрированной поддержкой GPUDirect,позволяет непосредственно перемещать данные между памятью графического процессора и сетевым интерфейсом без копий на стороне хоста, устраняя критическое узкое место в распределенном обучении ИИДля нагрузки на хранилище адаптер отгружает операции NVMe-oF,преобразование стандартного Ethernet в высокопроизводительную систему хранения данных с характеристиками задержки, ранее достижимыми только с использованием выделенной InfiniBand.

C. Усовершенствованная QoS и управление перегрузками
Адаптер обеспечивает приоритетизацию по классу трафика с поддержкой строгого приоритета, взвешенного справедливого очереди и ограничения ставки.Производство ПФК, а также адаптивные возможности маршрутизацииСпецификации MCX653106A-HDAT.

D. Безопасность и программируемость
Адаптер включает в себя аппаратный корень доверия, безопасную загрузку, зашифрованные обновления прошивки и безопасные интерфейсы управления.позволяет осуществлять индивидуальные отгрузки и сбор телеметрии сети в полосе для повышенной оперативной видимости.

4. Рекомендации по развертыванию и масштабируемости

Типичная топология развертывания

Рекомендуемое развертывание следует топологии "спин-лист" с следующей конфигурацией:

  • Переменчики листьев:25/50/100GbE ToR коммутаторы с поддержкой RoCEv2, выполненные с PFC на выделенных приоритетных очередях (обычно один или два приоритета) и ECN для сигнализации перегрузки.Для оптимальной производительности RoCE рекомендуются джамбо-кадры (MTU 9000)..
  • Серверные узлы:Каждый узел оборудованMCX653106A-HDATИнтерфейс адаптера PCIe Gen 4.0 x16 обеспечивает отсутствие узких мест на стороне хоста.
  • Спина:100/400GbE спинные коммутаторы, обеспечивающие бесблокирующую связь между стойками с достаточной буферной емкостью для поглощения микро-всплесков через несколько стойков.
  • Сохранение/интеграция вычислений:Для развертывания NVMe-oF целевые узлы используют один и тот же тип адаптера для последовательных возможностей RDMA.поддержка GPUDirect адаптера используется для синхронизации градиентов между графическими процессорами.

Учитывание масштабируемости

  • Домены перегрузки:Разделить ткань на несколько зон управления перегрузкой (например, по стойке или по кластеру), чтобы ограничить распространение ПФК.Ограничение скорости по порту адаптера помогает изолировать шумных соседей и поддерживать справедливое распределение полосы пропускания.
  • Интеграция оркестрации:Адаптер полностью поддерживается Kubernetes (через сетевого оператора NVIDIA) и OpenStack, что позволяет автоматизировать обеспечение и управление жизненным циклом в облачных средах.
  • Устойчивость к будущему:ВMCX653106A-HDATподдерживает 100GbE и более высокие скорости, обеспечивая пространство для будущих обновлений сети без замены адаптера.Интерфейс 0 также обеспечивает совместимость с серверными платформами следующего поколения.

Для организаций, оценивающихMCX653106A-HDAT цена, общая стоимость владения должна включать экономию от устранения выделенных сетей хранения, сокращение распределения ядра процессора (обычно восстановление 4-6 ядер на сервер),и операционной эффективности от единого управления тканями.

5. Операции, мониторинг, устранение неполадок и оптимизация

Рамочная система мониторинга

Решение включает в себя многоуровневый подход к наблюдаемости:

  • Телеметрия на уровне адаптера:ВMCX653106A-HDATКлючевые показатели включают пропускную способность на порт, фремы паузы PFC, пакеты с маркировкой ECN, события перегрузки RoCEv2,Статистика очереди по завершению RDMA, и гистограммы задержки по потоку.
  • Видимость на уровне ткани:Интеграция с унифицированной платформой управления NVIDIA обеспечивает визуализацию топологии, анализ пути потока и обнаружение аномалий по всей структуре.
  • Соотношение применения:Адаптер предоставляет статистику по очереди и по очереди завершения RDMA, что позволяет точно сопоставлять производительность сети с задержкой транзакций на уровне приложения.

Обычные сценарии решения проблем

Основываясь на опыте работыNVIDIA Mellanox MCX653106A-HDAT, выявлены следующие диагностические закономерности:

  • Поиск PFC-штормов:Мониторинг PFC пауза счетчиков кадров по приоритету ?? длительная пауза > 5% скорости линии указывает на перегрузку или неправильную конфигурацию.Исследуйте источник с помощью адаптера по очереди буфера использования счетчиков.
  • Пакетные капли RoCEv2:Проверьте счетчики падания адаптера (rx_discard, tx_discard) и сопоставьте с пакетами с маркировкой ECN, чтобы отличить падания на уровне адаптера и сжатие на уровне ткани.
  • Настройка производительности:Регулировать параметры прерывания слияния для сбалансирования задержки по сравнению с использованием процессора, обычно устанавливая умеренное слияние для нагрузок на хранение и минимальное слияние для торговых приложений.Лист данных MCX653106A-HDATДает подробные указания по всем настраиваемым параметрам.

Руководящие принципы оптимизации

Для достижения максимальной пропускной способности и минимальной задержки сРешение карты адаптера MCX653106A-HDAT Ethernet, рекомендуются следующие оптимизации:

  • Включает аппаратное CRC, распределение нагрузки заголовков / данных и масштабирование на стороне приема (RSS) для эффективного распределения трафика между несколькими ядрами ЦП
  • Динамически настраивать пороги PFC по приоритету с использованием инструментов конфигурации буфера, специальных для поставщика адаптера, на основе наблюдаемых профилей нагрузки
  • Включить расширенные функции QoS адаптера, включая ограничение скорости по классу трафика и строгое приоритетное или взвешенное справедливое очереди
  • Для крупномасштабного развертывания использовать поддержку адаптера для 802.1Qaz DCBX для автоматизации переговоров PFC и ECN с помощью коммутаторов
  • Использование программируемого пути передачи данных адаптера для реализации пользовательского сбора телеметрии или специализированной обработки пакетов, адаптированных к конкретным требованиям приложения

6. Резюме и оценка стоимости

Техническое решение сосредоточено наMCX653106A-HDATОт NVIDIA Mellanox обеспечивает четкий путь к достижению задержки RDMA менее 3 микросекунд и совокупной пропускной способности, превышающей 100 Гбит/с на сервер.Карта адаптера MCX653106A-HDAT Ethernetслужит основополагающим строительным блоком для современных, конвергированных тканей центров обработки данных, которые одновременно поддерживают обучение ИИ, HPC, корпоративное хранилище и аналитические рабочие нагрузки в реальном времени.

Ключевые ценностные предложения включают:

  • Консолидация инфраструктуры:Устраняет необходимость в отдельных сетях хранения и вычислений, обеспечивая беспроцентный Ethernet для всех типов трафика, снижая как капитальные, так и операционные расходы
  • Лидерство в области производительности:RoCEv2 с GPUDirect обеспечивает детерминированную задержку до микросекунды даже при использовании 90% + скорости линии и высокочастотная торговля
  • Эффективность работы:Комплексная телеметрия, самовосстанавливающее управление перегрузками и автоматизированная интеграция оркестрации сокращают среднее время до разрешения (MTTR) и операционные накладные расходы
  • Защита инвестиций:Интерфейс адаптера PCIe Gen 4.0, программируемость и поддержка многоскоростных портов обеспечивают совместимость с будущими поколениями процессоров и более быстрыми сетевыми тканями

Для организаций, активно оценивающихMCX653106A-HDAT для продажиЭто решение предлагает проверенную ориентированную архитектуру, проверенную в производственных средах финансовых услуг, облачных провайдеров, здравоохранения и научно-исследовательских учреждений.Сочетание производительности, масштабируемость и операционная зрелостьNVIDIA Mellanox MCX653106A-HDATстратегическая инвестиция для любой организации, стремящейся создать высокопроизводительную инфраструктуру дата-центра, готовую к будущему.