NVIDIA Mellanox MCX4121A-ACAT Серверный адаптер Техническое решение: создание низкозадержки RDMA/RoCE

NVIDIA Mellanox MCX4121A-ACAT Server Adapter Техническое решение: создание уровня доступа к ЦОДам с низкой задержкой и высокой пропускной способностью

Основа решения:MCX4121A-ACATБренд: NVIDIA Mellanox. Технологический фокус: RDMA/RoCE низкозадержанный транспорт и оптимизация производительности серверов.

1. Анализ контекста и требований проекта

Поскольку корпоративные центры обработки данных продолжают эволюционировать в сторону гибридных облачных архитектур, обучения крупномасштабной модели ИИ и распределенных систем хранения,уровень доступа к серверу стал критическим узким горлом, влияющим на общую производительность приложенияТрадиционные адаптеры 10GbE и стек протокола TCP/IP борются за обеспечение детерминированной низкой задержки и высокой пропускной способности, требуемой современными нагрузками.появились три основных болевых точки.: чрезмерные нагрузки на ЦП от обработки сетевого протокола, непредсказуемые задержки в распределенном доступе к хранилищу и ограниченная масштабируемость для виртуализации и контейнерных сред.

ВNVIDIA Mellanox MCX4121A-ACATпредназначен для решения этих проблем путем предоставления зрелого, высокопроизводительного решения доступа 25GbE. Основные требования, рассматриваемые в этом техническом решении, включают:задержка RDMA до 5μs для хранилищ и рабочих нагрузок ИИ, аппаратная загрузка протоколов TCP/RDMA для сокращения использования процессора до 40%, беспроблемная совместимость с существующей инфраструктурой коммутации 10GbE/25GbE,и поддержка современных технологий виртуализации, включая SR-IOV и VirtIO.

2. Общий дизайн сетевой и системной архитектуры

Предлагаемая архитектура использует стандартную топологию листового позвоночника с выделенным транспортным слоем RoCEv2.сКарта адаптера MCX4121A-ACAT Ethernetслужит основным строительным блоком для всех вычислительных и хранилищных узлов.

Архитектура состоит из следующих основных компонентов:

• Условие доступа к серверу:Каждый вычислительный и хранилищный сервер оснащен одним или двумя адаптерами MCX4121A-ACAT, обеспечивающими двойной порт 25GbE подключения к коммутаторам листов.Агрегация ссылок (LACP) и переход на активный режим ожидания (Active/Standby Failover) настроены на избыточность.
• Прочие изделия из шелковых материалов:Набор коммутаторов с возможностью RoCEv2 (например, NVIDIA Spectrum) формирует основной материал, с PFC и ECN, обеспечивающих беспроблемную передачу RoCE по всей сети.
• Ткань для хранения:NVMe-oF-цели развертываются на выделенных серверах хранения, используя RDMA для прямого доступа к памяти и обхода нагрузки на TCP/IP ядра.
• Руководство и оркестрация:Единое управление с помощью NVIDIA NetQ или сторонних инструментов телеметрии обеспечивает доступ в режиме реального времени к состоянию ткани и производительности RDMA.

ВMCX4121A-ACAT ConnectX-4 Lx с двумя портами 25GbE SFP28Дизайн обеспечивает возможность двойного размещения серверов на двух независимых переключателях, исключая отдельные точки отказа, обеспечивая балансировку нагрузки как для RDMA, так и для обычного трафика Ethernet.

3. Роль и основные характеристики NVIDIA Mellanox MCX4121A-ACAT

ВNVIDIA Mellanox MCX4121A-ACATявляется краеугольным камнем этого решения, предоставляя аппаратно-ускоренную RDMA и передовые возможности выгрузки.Лист данных MCX4121A-ACATиСпецификации MCX4121A-ACAT, адаптер включает следующие ключевые технологии:

ВСовместимость MCX4121A-ACATЭкосистема охватывает основные серверные платформы (Dell, HPE, Lenovo, Supermicro и т. д.), операционные системы (Linux, Windows, VMware ESXi) и поставщиков коммутаторов, обеспечивая бесперебойную интеграцию без блокировки поставщика.Эта обширная совместимость позволяетРаствор карты адаптера Ethernet MCX4121A-ACATПринять их в различных условиях.

4. Рекомендации по развертыванию и масштабируемости (включая типичную топологию)

Для организаций, оценивающихMCX4121A-ACAT для продажиМы рекомендуем использовать поэтапный подход, соответствующий росту рабочей нагрузки:

• Фаза 1 (пилотный ¢ AI Inference Cluster):Развернуть два адаптера MCX4121A-ACAT на сервер вывода ИИ (двойной хом на разные переключатели листов).Конфигурировать RoCEv2 с PFC/ECN и подтвердить производительность с помощью MLNX_OFED NVIDIA или встроенного стека драйверов.
• Фаза 2 (расширение подложки хранилище и вычисления):Расширить развертывание до 48-96 вычислительных узлов и 8-16 серверов хранения. Включить NVMe-oF цель / инициатор разгрузки на назначенных узлах хранения. Использовать агрегацию ссылок (связывание) для масштабирования пропускной способности.
• Фаза 3 (многораковица / многоцентр обработки данных):Расширить RDMA-соединение между стойками с использованием одной и той же ткани RoCEv2.

Типичная топология для среднего размера AI/HPC pods будет состоять из: 16 вычислительных серверов (каждый с двумя адаптерами MCX4121A-ACAT для общей пропускной способности 2×25GbE = 50GbE эффективно),4 сервера хранения (цели NVMe-oF), и 2-4 переключателя листья (с возможностью RoCEv2).Адаптеры сконфигурированы с SR-IOV для выделения выделенных виртуальных функций для контейнеризированных нагрузок ИИ, обеспечивая предсказуемые характеристики и изоляцию.

5. Мониторинг операций, устранение неполадок и оптимизация

ВNVIDIA Mellanox MCX4121A-ACATвключает в себя всеобъемлющие операционные инструменты для оптимизации повседневного управления.

• Телеметрия в режиме реального времени:Используйте NVIDIA NetQ, PerfSONAR или gNMI для мониторинга использования портов, ошибок CRC, пауз PFC и событий маркировки ECN.Эти показатели имеют решающее значение для выявления точек перегрузки, которые влияют на производительность RDMA.
• Управление драйвером и прошивкой:Регулярно обновляйте драйвер (MLNX_OFED или драйвер Linux в коробке) и адаптируйте прошивку к последним стабильным версиям.Лист данных MCX4121A-ACATдля рекомендуемых версий прошивки и известных исправлений проблем.
• Настройка производительности:Для рабочих нагрузок хранения приоритетизируйте трафик RDMA с более высокими классами приоритета (например, CoS 3).настраивать объем сцепления прерывания и буфера для оптимизации пропускной способности.
• Изоляция от неисправностей:Используйте встроенную диагностику адаптера (например, ethtool, mlxlink) для выявления проблем с уровнем ссылки.проверка паузных рамок PFC и счетчиков ECN для определения источников перегрузки.

Кроме того, рекомендуется установить базовый показатель задержки и пропускной способности RDMA с использованием таких инструментов, как perftest (ib_write_bw, ib_read_bw) после первоначального развертывания.Этот исходный показатель служит ориентиром для будущих сравнений производительности и планирования мощностей.

6. Резюме и оценка стоимости

ВNVIDIA Mellanox MCX4121A-ACATпредоставляет комплексное, экономически эффективное решение для создания сетей доступа к центрам обработки данных с низкой задержкой и высокой пропускной способностью.Цена MCX4121A-ACATпо сравнению с общими затратами на владение, преимущества очевидны: снижение использования ЦП (освобождение ресурсов для рабочей нагрузки приложений),Улучшенная производительность приложений (до 2x пропускной способности для хранилищ и рабочей нагрузки ИИ), и снижение операционных накладных расходов (упрощенный мониторинг и активное обнаружение неисправностей).

Ключевые выводы из этого технического решения включают:

• ВMCX4121A-ACAT ConnectX-4 Lx с двумя портами 25GbE SFP28обеспечивает безопасный для будущего путь доступа 25GbE с полной совместимостью с 10GbE/1GbE.
• RDMA/RoCEv2 offload в сочетании с сетью с поддержкой PFC/ECN обеспечивает задержку до 5 мкм и почти нулевое вмешательство процессора для хранения и трафика ИИ.
• ШирокийСовместимость MCX4121A-ACATЭкосистема обеспечивает беспроблемную интеграцию между гетерогенными серверами, хранилищами и средами переключения.
• Решение масштабируется от небольших пилотных кластеров до крупномасштабных многораковых развертываний, что делает его подходящим как для корпоративных центров обработки данных, так и для поставщиков облачных услуг.

Для организаций, готовых модернизировать свою инфраструктуру доступа к серверам,NVIDIA Mellanox MCX4121A-ACATЭто стратегическая инвестиция в производительность, эффективность и простоту работы.Лист данных MCX4121A-ACAT, всеобъемлющийСпецификации MCX4121A-ACAT, иMCX4121A-ACAT для продажиЭто позволит обеспечить необходимые ресурсы для начала процесса оценки и развертывания.Раствор карты адаптера Ethernet MCX4121A-ACATслужит проверенным планом для раскрытия полного потенциала современных сетей центров обработки данных.