NVIDIA Mellanox MCX653105A-HDAT Серверный адаптер Техническое решение

По мере того как распределенное хранилище, конвергентные базы данных и платформы обучения искусственному интеллекту развиваются в сторону сетей 100GbE/200GbE, традиционный стек TCP/IP стал основным узким местом в производительности. Критические операции, такие как репликация данных и синхронизация журналов, очень чувствительны к задержке, однако сетевой стек ядра вносит задержки в десятки микросекунд и потребляет значительные ресурсы ЦП для обработки протокола, серьезно ограничивая масштабируемость пропускной способности. Современным центрам обработки данных требуется сетевое решение, обеспечивающее задержку, близкую к памяти, пропускную способность на линейной скорости и минимальное вмешательство ЦП.

Это техническое решение основано наNVIDIA Mellanox MCX653105A-HDATсерверный адаптер, предназначенный для удовлетворения следующих ключевых требований:

• Задержка между узлами менее микросекунды для распределенных хранилищ и рабочих нагрузок HPC
• Загрузка ЦП для сетевой обработки составляет менее 10 %, освобождая ядра для логики приложений.
• Транспортировка без потерь с контролем перегрузок, позволяющая избежать скачков задержки в хвосте
• Бесшовная интеграция с существующей инфраструктурой Ethernet
• Аппаратная разгрузка для NVMe-over-Fabric (NVMe-oF) и GPUDirect RDMA

Предлагаемая архитектура использует двухуровневую топологию CLOS (spine-leaf) с RoCE (RDMA over Converged Ethernet), развернутым в качестве основного транспортного протокола. Все вычислительные серверы и серверы хранения оснащеныMCX653105A-HDAT Карта адаптера Ethernet, подключенный к листовым коммутаторам с поддержкой RoCE. PFC (управление приоритетным потоком) и ECN (явное уведомление о перегрузке) позволяют создавать домены Ethernet без потерь для трафика RDMA, а отдельные очереди приоритетов изолируют потоки хранения, высокопроизводительных вычислений и управления.

К ключевым архитектурным решениям относятся:

• RoCEv2через UDP‑IP, чтобы обеспечить маршрутизацию через границы уровня 3.
• DCQCN (квантовое уведомление о перегрузке центра обработки данных)для превентивного управления перегрузками
• Разделенный PCIeвыделить полосу пропускания для хранилища, а не для вычислительного трафика на одном и том же адаптере
• Поддержка нескольких хостоввозможность использовать до четырех серверов один адаптер (сценарии дезагрегированного хранилища)

В основе этого решения лежитNVIDIA Mellanox MCX653105A-HDAT– двухпортовый адаптер 100GbE ConnectX‑6 Dx – служит механизмом критической разгрузки. СогласноТехническое описание MCX653105A-HDATКарта оснащена аппаратными ускорителями, которые фундаментально меняют способ обработки серверами сетевого ввода-вывода.

В следующей таблице показано, как конкретные функции соответствуют архитектурным требованиям:

MCX653105A-HDAT Адаптер ConnectX Сетевая карта PCIeтакже включает расширенную телеметрию — каждый пакет содержит аппаратные временные метки и счетчики потока, обеспечивая видимость перегрузки в реальном времени без опроса центрального процессора. Для организаций, занимающихся закупками,Цена MCX653105A-HDATобеспечивает привлекательную рентабельность инвестиций по сравнению с альтернативами масштабирования только на ЦП или FPGA.

Для типичного кластера из 200 узлов мы рекомендуем следующий подход к развертыванию:

• Слой листьев:Коммутаторы с поддержкой RoCE (например, NVIDIA SN3700) с включенной PFC/ECN, настроенные на параметры DCQCN, настроенные на пиковую нагрузку рабочей нагрузки.
• Слой позвоночника:Неблокирующие коммутаторы с адекватным коэффициентом переподписки (максимум 3:1 для трафика хранилища).
• Серверная часть:ОдинMCX653105A-HDAT Решение для карты адаптера Ethernetна два узла для кластеров общего хранения или по одному на узел для высокопроизводительных вычислений с интенсивными вычислениями.
• Буферы и MTU:Настройте сквозные большие кадры размером 9000 байт и выделите 10–20 % буфера коммутации для каждой группы приоритетов для обеспечения гарантий без потерь.

При проверке совместимости большинство основных серверных платформMCX653105A-HDAT-совместимый– включая Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem и Supermicro. Интерфейс PCIe 4.0/5.0 x16 адаптера обеспечивает пропускную способность будущего для процессоров следующего поколения.

Производственное развертывание RoCE требует упреждающего контроля. Мы рекомендуем следующие методы работы:

• Сбор телеметрии:Используйте NVIDIAмфт(Инструменты прошивки Mellanox) иэттул -Sдля экспорта счетчиков каждого порта и очереди в Prometheus или аналогичные системы.
• Ключевые показатели для мониторинга:Кадры паузы PFC в секунду, скорость передачи пакетов с маркировкой ECN, повторные передачи RoCE и температура адаптера.
• Обнаружение перегрузки:Внезапное увеличение пауз PFC часто сигнализирует о медленном приёмнике; проверятьТехнические характеристики MCX653105A-HDATдля параметров настройки порога буфера.
• Управление прошивкой:Планирование обновлений встроенного ПО во время периодов обслуживания; адаптер поддерживает живую миграцию соединений RoCE, чтобы минимизировать время простоя.
• Контрольный список настройки производительности:Включите объединение IRQ, установите правильные размеры колец Rx/Tx (рекомендуется 4096), закрепите прерывания на выделенных ядрах и проверьте ширину канала PCIe (x16 @ Gen4/5).

NVIDIA Mellanox MCX653105A-HDATпредоставляет полную, готовую к использованию основу для фабрик с низкой задержкой на основе RDMA/RoCE. Разгружая весь путь передачи данных – от команд хранилища до виртуальной коммутации и шифрования безопасности – он превращает серверную сеть из узкого места в ускоритель. Организации, принявшие это решение, могут рассчитывать на:

• Детерминированная задержка менее 2 мксчерез сотни узлов
• Увеличение пропускной способности в 5–10 раздля рабочих процессов NVMe‑oF и HPC
• Сокращение на 80–90%в связанных с сетью нагрузках на ЦП
• Линейная масштабируемостьбез пробок, коллапс

Для инженеров, оценивающих варианты,Техническое описание MCX653105A-HDATи официальные руководства по совместимости являются авторитетными источниками информации. Благодаря адаптеру теперь широкоMCX653105A-HDAT на продажуБлагодаря торговым партнерам NVIDIA путь к высокопроизводительному уровню передачи данных с низкой задержкой одновременно ясен и достижим. Это техническое решение представляет собой основу для любой организации, стремящейся раскрыть весь потенциал сетей 100GbE с RDMA и RoCE.