Техническое решение NVIDIA Mellanox MCX653106A-HDAT: транспорт и сервер с низкой задержкой на основе RDMA/RoCE

Этот технический документ предназначен для сетевых архитекторов, инженеров по предпродажной подготовке и менеджеров по эксплуатации. Он фокусируется наNVIDIA Mellanox MCX653106A-HDATсерверный адаптер и описывает, как построить сетевую инфраструктуру центра обработки данных, способную осуществлять транспортировку RDMA/RoCE за микросекунды и иметь сверхвысокую пропускную способность.

Современные центры обработки данных сталкиваются с тремя основными проблемами: непредсказуемыми задержками в распределенных хранилищах, нехваткой пропускной способности в обучающих кластерах ИИ и чрезмерным потреблением ЦП традиционными стеками сетевых протоколов. Обычные решения TCP/IP больше не могут удовлетворить требования к микросекундным задержкам, предъявляемым к NVMe-oF, высокочастотной торговле и аналитике в реальном времени. Отрасль срочно нуждается вMCX653106A-HDAT Решение для карты адаптера Ethernetкоторый обеспечивает транспортировку RDMA с аппаратной разгрузкой по стандартной инфраструктуре Ethernet, одновременно масштабируя пропускную способность сервера до уровня 200 Гбит/с.

В этом решении используется двухуровневая архитектура Leaf-Spine CLOS. Все вычислительные узлы и узлы хранения подключены черезNVIDIA Mellanox MCX653106A-HDATк коммутаторам ToR 25G/100G. Ключевые принципы проектирования включают в себя:

• Сквозная сеть без потерь с поддержкой PFC (управление приоритетным потоком) и ECN (явное уведомление о перегрузке)
• Выделенные транспортные линии RDMA для хранения данных и рабочих нагрузок HPC.
• Разделение плоскости управления (стандарт TCP/IP) и плоскости данных (RoCEv2)
• Разгрузка аппаратной виртуализации (SR-IOV, VXLAN/NVGRE/Geneve)

На основеТехническое описание MCX653106A-HDATАдаптер обеспечивает задержку между портами менее 600 нс и поддерживает до 215 миллионов пакетов в секунду, что делает его идеальным как для трафика хранилища Восток-Запад, так и для потоков приложений Север-Юг.

MCX653106A-HDAT Адаптер ConnectX Сетевая карта PCIeслужит основным механизмом плоскости данных. Его основные роли включают в себя:

• Ускорение RDMA/RoCE:Полная аппаратная разгрузка RoCEv2, включая управление перегрузкой, обработку пакетов, находящихся вне очереди, и немедленное размещение данных в буферах приложений.
• Разгрузка протокола хранения:Встроенная поддержка NVMe-oF (варианты TCP и RoCE), iSER и SRP, исключающая программную целевую обработку.
• Виртуализация и мультитенантность:До 1000 виртуальных функций (VF) на порт с разгрузкой наложенного туннеля, обеспечивающей инкапсуляцию/декапсуляцию на скорости линии.
• Безопасность и телеметрия:Встроенное шифрование IPsec/TLS на скорости 200 Гбит/с, а также аппаратное отслеживание потока (например, отслеживание соединений, гистограммы).

В соответствии сТехнические характеристики MCX653106A-HDAT, адаптер поддерживает интерфейсы PCIe 4.0/5.0 x16, обеспечивая отсутствие узких мест на стороне хоста даже при полной линейной скорости 200GbE.

Проверенная эталонная топология состоит из:

• Вычислительный слой:48 двухпроцессорных серверов, каждый из которых оснащен однимMCX653106A-HDAT(двухпортовая конфигурация 100GbE). Порты объединены в группу LAG «активный-активный».
• Уровень хранения:12 целевых серверов All-Flash NVMe-oF, каждый с двумяMCX653106A-HDAT Карта адаптера Ethernetединицы — один для внешнего доступа к вычислениям, один для внутренней репликации.
• Сетевой уровень:Четыре коммутатора 100GbE Spine и восемь коммутаторов Leaf, настроенных с пороговыми значениями DCBX, PFC (класс 3 для RoCE) и ECN.

Для масштабирования более 200 узлов архитектура поддерживает конструкции с несколькими модулями с использованием EVPN-VXLAN с аппаратной разгрузкой (полностьюMCX653106A-HDAT-совместимыйс коммутаторами основных производителей). При оценке мощности,Цена MCX653106A-HDATна используемый порт 100GbE примерно на 40 % ниже, чем у сопоставимых решений Fibre Channel или InfiniBand.

Для эффективной работы развертываний RDMA/RoCE требуются специальные инструменты. Рекомендуются следующие практики:

Для устранения неполадок соберите метаданные, относящиеся к RoCEv2, с помощьюрдматулиibv_devinfo. Распространенные ошибки включают неправильно настроенные приоритеты PFC (обеспечьте согласованность между всеми сетевыми устройствами) и несовпадающие скорости каналов PCIe (проверьте с помощьюlspci -vvv).

NVIDIA Mellanox MCX653106A-HDATпредлагает проверенную, готовую к использованию платформу для преобразования стандартных фабрик Ethernet в высокопроизводительные сети без потерь. Ключевые оценки стоимости включают в себя:

• Задержка:Детерминированная задержка чтения NVMe-oF менее 10 мкс (P99), обеспечивающая аналитику в реальном времени и конвергенцию HPC.
• Пропускная способность:Скорость 200GbE, близкая к линейной, с нулевой потерей пакетов, проверено на соответствиеТехнические характеристики MCX653106A-HDAT.
• Эффективность процессора:Освобождает до 30 % ядер ЦП, которые ранее использовались стеками сети и хранилища.
• Общая стоимость владения:По сравнению с проприетарными межсоединениями,MCX653106A-HDAT на продажуцена в сочетании со стандартной коммутацией Ethernet снижает трехлетние эксплуатационные расходы примерно на 35–50%.

Архитекторы и руководители операций могут с уверенностью развертывать это решение для фабрик искусственного интеллекта, дезагрегированных хранилищ и финансовых систем со сверхнизкой задержкой. Подробные этапы реализации можно найти на официальном сайте.Техническое описание MCX653106A-HDATи библиотека документации NVIDIA DOCA.