Технический документ NVIDIA Mellanox MCX631432AN-ADAB Server Adapter

NVIDIA Mellanox MCX631432AN-ADAB Серверный адаптер Техническая книга.

1. Анализ контекста и требований проекта

Архитектуры современных центров обработки данных все чаще определяются сближением высокопроизводительных вычислений, нагрузок искусственного интеллекта и распределенных систем хранения.Эти приложения имеют общий набор сетевых требованийТрадиционные TCP/IP-сетевые стеки, хотя и повсеместны,ввести значительные затраты на задержку и обработку процессоров, которые становятся запрещающими в масштабе.

Для организаций, развертывающих NVMe over Fabrics (NVMe-oF), распределенные учебные кластеры машинного обучения или финансовые торговые платформы, чувствительные к задержке,Карта сетевого интерфейса (NIC) превратилась из простого устройства в стратегический ускоритель производительностиКлючевые требования, выявленные в современном развертывании, включают:

• Задержка на уровне приложений до 5 микросекунд при транспортировке без оборудования
• Совокупная пропускная способность, превышающая 40 Гбит/с на сервер для устранения узких мест хранения
• Детерминистическая производительность при минимальной вариации задержки хвоста под нагрузкой
• Бесшовная интеграция с существующей инфраструктурой Ethernet без собственного переключения
• Комплексные возможности телеметрии и диагностики для проактивных операций

ВNVIDIA Mellanox MCX631432AN-ADABнапрямую отвечает этим требованиям с помощью архитектуры ConnectX-6 Lx,предоставление аппаратно-ускоренного RoCEv2 (RDMA over Converged Ethernet) с расширенным контролем перегрузки и программируемыми возможностями пути передачи данных.

2. Общий дизайн сетевой и системной архитектуры

Архитектура предлагаемого решения использует топологию сети с 25GbE подключением на уровне доступа к серверу.MCX631432AN-ADAB ConnectX-6 Lx с двумя портами 25GbE SFP28адаптер, обеспечивающий двойные избыточные пути к переключателям верхней части стойки (ToR).

• Край сервера:ВКарта адаптера Ethernet MCX631432AN-ADABподключается через PCIe Gen 4.0 x8 к хост-CPU, обеспечивая до 64 ГБ/с двунаправленной пропускной способности хоста, полностью достаточной для одновременного насыщения обоих портов 25 ГбЭ.
• Сетевой материал:Двойные порты 25GbE SFP28 обеспечивают балансировку активной нагрузки или отказ в активном режиме ожидания.
• Интеграция хранилища:Для развертывания NVMe-oF адаптер служит конечной точкой RDMA, позволяющей прямую передачу данных из памяти в память с задержкой до микросекунды.
• План управления:Управление за пределами диапазона через безопасный интерфейс управления адаптера с полной поддержкой Redfish и мониторинга SNMP.

Дизайн подчеркивает беспроигрышный Ethernet через RoCEv2 с контролем приоритета потока (PFC) и явное оповещение о перегрузке (ECN)MCX631432AN-ADAB Ethernet решения для адаптерных картработает в рамках сближенной, многопротокольной структуры без выделенной инфраструктуры InfiniBand.

3. Роль и ключевые особенности NVIDIA Mellanox MCX631432AN-ADAB

ВNVIDIA Mellanox MCX631432AN-ADABслужит основным строительным блоком этого решения, обеспечивая три различных уровня ценности:

A. Двигатель аппаратного ускорения
Адаптер интегрирует высокопрограммируемый пакет обработки трубопровода, который разгружает транспорт протокола операций, включая RoCE сегментации, сборки,и управление перегрузкой от хост-CPUСогласноФайл данных MCX631432AN-ADAB, аппаратное обеспечение поддерживает до 200 миллионов сообщений в секунду (Mpps), гарантируя, что даже самые маленькие размеры пакетов достигают скорости передачи.

B. Реализация RDMA и RoCEv2
ВMCX631432AN-ADAB ConnectX-6 Lx с двумя портами 25GbE SFP28реализует RoCEv2 с полностью выгруженным оборудованием.

• Передача данных с нулевой копией непосредственно между буферами приложений и удаленной памятью
• Односторонняя задержка менее 2 микросекунд для одноранговой связи
• Полная совместимость со стандартными коммутаторами Ethernet, требующая только поддержки PFC и ECN

C. Расширенная телеметрия и программируемость
Адаптер включает в себя набор счетчиков телеметрии, которые обеспечивают задержку по потоку, глубину очереди и показатели перегрузки, критические для проактивного управления производительностью.Спецификации MCX631432AN-ADABподробно описать полный спектр программируемых функций, включая гибкую обработку действий совпадения и поддержку внутриполосной сетевой телеметрии (INT).

Для организаций, рассматривающих развертывание, адаптер полностьюСовместимость MCX631432AN-ADABс всеми основными дистрибутивами Linux (RHEL, Ubuntu, SLES), VMware ESXi и Windows Server, обеспечивая бесперебойную интеграцию в гетерогенные среды.

4. Рекомендации по развертыванию и масштабируемости

Типичная топология развертывания

Рекомендуемое развертывание следует топологии "спин-лист" с следующей конфигурацией:

• Переменчики листьев:Коммутаторы 25GbE ToR с поддержкой RoCEv2, настроенные с PFC на выделенных очередях приоритета и ECN для сигнализации о перегрузке
• Серверные узлы:Каждый узел оборудованMCX631432AN-ADAB, подключенный к первичному и вторичному листу для отчисления
• Спина:100GbE или 400GbE спинные коммутаторы, обеспечивающие бесблокирующую межраковую связь
• Цель хранения:Целевые узлы NVMe-oF, использующие один и тот же тип адаптера для последовательных возможностей RDMA

Учитывание масштабируемости

Ключевые принципы масштабируемости включают:

• Управление буфером:Использование совместной архитектуры буфера адаптера (конфигурируемый до 4 МБ на порт) для поглощения временных всплесков без пакета пачек
• Домены перегрузки:Разделите ткань на несколько зон управления перегрузкой, чтобы ограничить распространение ПФК, используя ограничитель скорости адаптера на порт
• Оркестрация в облачном масштабе:Адаптер полностью поддерживается Kubernetes (через сетевого оператора NVIDIA) и OpenStack, что позволяет автоматизировать обеспечение и управление жизненным циклом.

При оценкеMCX631432AN-ADAB ценаот общей стоимости собственности, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5. Операции, мониторинг, устранение неполадок и оптимизация

Рамочная система мониторинга

Решение включает в себя трехуровневый подход к наблюдаемости:

• Телеметрия на уровне адаптера:ВКарта адаптера Ethernet MCX631432AN-ADABКлючевые показатели включают: пропускную способность по порту, пакеты падают, PFC паузные кадры, пакеты с ECN,события перегрузки и RoCEv2
• Видимость на уровне ткани:Интеграция с унифицированной платформой управления NVIDIA обеспечивает визуализацию топологии и анализ пути потока
• Мониторинг производительности приложений:Адаптер обеспечивает статистику очереди и очереди завершения RDMA, позволяя коррелировать производительность сети с задержкой транзакций на уровне приложения

Обычные сценарии решения проблем

На основе опыта эксплуатации выявлены следующие закономерности с использованиемСпецификации MCX631432AN-ADABи телеметрические данные:

• Поиск PFC-штормов:Мониторинг PFC паузовых счетчиков по приоритету
• Пакетные капли RoCEv2:Проверьте счетчики падения адаптера (например, счетчики rx_discard_*), чтобы выделить, возникают ли падения на адаптере, переключателе или из-за ECN-удушения
• Настройка производительности:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Руководящие принципы оптимизации

Для достижения максимальной пропускной способности и минимальной задержки рекомендуются следующие оптимизации на основеФайл данных MCX631432AN-ADAB:

• Включить аппаратное CRC и расщепление заголовков / данных для снижения потребления пропускной способности памяти хоста
• Динамически настраивать пороги PFC по приоритету на основе профилей нагрузки на рабочую нагрузку с использованием инструментов конфигурации буфера адаптера для конкретного поставщика
• Включить расширенные функции QoS адаптера, включая ограничение скорости по классу трафика и строгое приоритетное или взвешенное справедливое очереди
• Для крупномасштабных развертываний используйте поддержку адаптера для 802.1Qaz Data Center Bridging Exchange (DCBX) для автоматизации переговоров PFC и ECN с коммутаторами

6. Резюме и оценка стоимости

Техническое решение сосредоточено наNVIDIA Mellanox MCX631432AN-ADABобеспечивает четкий путь к достижению задержки RDMA менее 10 микросекунд, одновременно увеличивая пропускную способность сервера до 5-6 раз по сравнению с традиционными развертываниями TCP/IP 10GbE.Ключевые ценностные предложения::

• Упрощение инфраструктуры:Устраняет необходимость в отдельных сетях хранения и вычисления, позволяя беспроблемный Ethernet для всех типов трафика
• Прогнозируемость производительности:RoCEv2 с отгрузкой аппаратного обеспечения обеспечивает детерминированную задержку даже при использовании 90% + скорости линии
• Эффективность работы:Всеобъемлющая телеметрия и самовосстанавливающее управление перегрузкой сокращают среднее время до разрешения (MTTR) проблем сети
• Защита инвестиций:Интерфейс и программируемость адаптера PCIe Gen 4.0 обеспечивают совместимость с будущими поколениями процессоров и коммутаторов

Для организаций, активно оценивающихMCX631432AN-ADAB для продажиЭто решение предлагает проверенную ориентированную архитектуру, которая была подтверждена в производственных средах финансовых услуг, облачных провайдеров и развертываниях корпоративного хранилища.Сочетание производительности, масштабируемость и операционная зрелостьКарта адаптера Ethernet MCX631432AN-ADABСтратегическая инвестиция для модернизации дата-центра.