Техническое решение серверного адаптера Mellanox (NVIDIA Mellanox) MCX653105A-HDAT

Современные центры обработки данных претерпевают фундаментальный сдвиг от архитектуры, ориентированной на вычисления, к архитектуре, ориентированной на данные.и высокочастотные торговые среды предъявляют строгие требования к задержке сети и пропускной способности сервера. Традиционные TCP/IP стеки генерируют значительные прерывания процессора и контекстные переключатели при высокой пропускной способности, потребляя более 30% вычислительной мощности только для сетевой нагрузки.Появляющиеся протоколы хранения, такие как NVMe-oF, требуют микросекундного уровня задержки с конца на конец, чтобы раскрыть свой потенциал производительностиДля решения этих задач предприятиям необходим серверный NIC, который отгружает сетевую обработку и позволяет получить прямой доступ к памятиMellanox (NVIDIA Mellanox) MCX653105A-HDATдоставляет.

Ключевые требования, выявленные в типичных сценариях развертывания, включают: задержку на уровне приложений до 2μs, пропускную способность линии 100 Гбит/порт,аппаратная загрузка для RoCE (RDMA по конвергированной Ethernet), беспроблемная интеграция с существующими серверами PCIe 4.0 и комплексная телеметрия для проактивного управления перегрузкой.MCX653105A-HDATобращается к каждому из них с помощью своей архитектуры ConnectX-6.

Предлагаемое решение использует двухуровневую ткань спинного листа с поддержкой RoCE, устраняя узкие места TCP/IP при сохранении экономичности Ethernet.Коммутаторы верхнего уровня (серия NVIDIA SN4000 или эквивалентные коммутаторы с поддержкой PFC) соединяют между собой вычислительные и хранилищные узлы. Каждый вычислительный узел интегрируетКарта адаптера MCX653105A-HDAT Ethernet, обеспечивающие двойной порт 100GbE подключения. Узлы хранения развертывают один и тот же адаптер для обслуживания целей NVMe-oF непосредственно через RDMA.

Архитектурно,NVIDIA Mellanox MCX653105A-HDATпозиции как ключевой ускоритель плоскости данных, обрабатывающий все сетевые вводы/выводы из виртуальных машин, контейнеров и простого металлического нагрузки.Площадь управления остается на хост-CPU, но освобождается от задач перемещения данных. Это разделение является сутью дизайна с поддержкой RDMA. Для крупномасштабных развертываний (100+ узлов) выделенный домен управления перегрузкой RoCE настраивается с использованием DCQCN (Data Center Quantized Congestion Notification),с отдельными буферными пулами для вычислительного и хранения трафика.

ВMCX653105A-HDAT ConnectX адаптер PCIe сетевая картавыполняет четыре критических функции в этой архитектуре:

• RoCE с отгрузкой оборудования:Реализует RDMA без необходимости специальных коммутаторов или тканей.
• Интерфейс PCIe 4.0 x16:Обеспечивает двунаправленную пропускную способность до 200 Гбит/с, устраняя узкие уголки хост-буса и полностью используя двойные порты 100 Гбит/с.
• Ускоренное переключение и обработка пакетов (ASAP2):Поддерживает гибкую настройку трубопровода для VXLAN/NVGRE разгрузки, ускорения VirtIO и программируемой телеметрии.
• Ускорения хранения:Разгрузка оборудования для NVMe-oF (TCP и RoCE), генерация/проверка подписи T10-DIF и ускорение кодирования стирания.

СогласноЛист данных MCX653105A-HDAT, адаптер также поддерживает безопасную загрузку, аппаратное корневое доверие и встроенное шифрование IPsec/TLS до 100GbE.Спецификации MCX653105A-HDAT, инженеры отмечают, что ширина двойного слота, пассивное охлаждение и широкий диапазон температур работы (0°C - 55°C) делают его подходящим для плотной среды серверов.

Типичная топология (пример кластера с 1024 узлами):
- Лист слоя: 16x лист переключателей, каждый с 48x 100GbE портов нисходящей связи + 8x 400GbE подключений
- Спинный слой: 4x спинные переключатели, не блокирующая ткань 400GbE
- Вычислительные узлы: двойныеMCX653105A-HDATна узел (необязательно активный-активный или активный режим ожидания)
- Узлы хранения: 1xMCX653105A-HDATна узел, обслуживающий пространства имен NVMe через RDMA

Шаги развертывания:ПроверкаСовместимость MCX653105A-HDATУстановите MLNX_OFED или DOCA Framework (минимум версии 5.8). Включите RoCE на портах коммутатора (параметры PFC, ECN, DCQCN, настроенные на рабочую нагрузку).Конфигурировать связь или многопуть для избыточности двух портов. Наконец, проверьте с помощью аппарата perftest (ib_write_bw, ib_read_lat).

Учитывание масштабирования:Для 2000+ узлов, реализовать адаптивное маршрутизация и управление перегрузкой на уровне ткани.Раствор карты MCX653105A-HDAT Ethernet адаптерПри планировании емкости, эталонныйMCX653105A-HDAT ценаОбычный период окупаемости составляет 6-12 месяцев из-за консолидации серверов и снижения количества сердец процессора.MCX653105A-HDAT для продажиследует обратиться к региональным дистрибьюторам для определения цены на объем и опций настройки прошивки.

Мониторинг и телеметрия:ВNVIDIA Mellanox MCX653105A-HDATКлючевые показатели для отслеживания: соотношение маркировки перегрузки RoCE, количество падений буфера, ошибки ссылок PCIe и фремы паузы портов.Интеграция с Prometheus+Grafana поддерживается через библиотеку управления NVIDIA (NVML).

Руководство по оптимизации:Установка параметров DCQCN (cnp_802p_prio=3, rpg_time_reset=300 и т.д.) на основе рабочей нагрузки более агрессивный для хранения, консервативный для вычисления.ОСТ/ЛРО для смешанной нагрузкиИспользуйте включенный инструмент mlxconfig для настройки максимального размера полезной нагрузки PCIe (256B оптимально для большинства серверов).

Обычное устранение неполадок:Удар по порту обычно указывает на несоответствие SFP/кабеля Совместимость MCX653105A-HDATНизкая пропускная способность RDMA часто указывает на недостаточную конфигурацию ECN на коммутаторах.Использовать ibdiagnet для проверки качества ткани и dump_emad для проверки внутренних регистров адаптераДля постоянных проблемЛист данных MCX653105A-HDATпредоставляет диагностику на уровне регистра и таблицы кодов ошибок.

ВMCX653105A-HDATпредставляет собой зрелый, готовый к производству строительный блок для сетей центров обработки данных с низкой задержкой и высокой пропускной способностью.позволяет развертывать RDMA/RoCE на стандартной инфраструктуре EthernetКлючевые результаты включают: 50-70% сокращение процессора для сетевых задач, детерминированная задержка до 2 мкм, плавная интеграция NVMe-oF и линейная масштабируемость до тысяч узлов.Раствор карты MCX653105A-HDAT Ethernet адаптерЭто обеспечивает будущий путь к 200GbE тканей при сохранении совместимости с существующими инструментами управления.Спецификации MCX653105A-HDATдля доказательства концепции или планирования развертывания в масштабе стеллажа, этот адаптер обеспечивает количественное улучшение как производительности, так и общей стоимости владения.