Технический документ MCX623106AN-CDAT серверного адаптера Mellanox (NVIDIA Mellanox)

Эта техническая книга предназначена для сетевых архитекторов, инженеров допроса и операционных менеджеров.Mellanox (NVIDIA Mellanox) MCX623106AN-CDATДокумент охватывает архитектурный дизайн, ключевые технические характеристики,стратегии развертывания и масштабирования, а также операций и мониторинга, обеспечивающих практическое руководство для реального осуществления.

Современные центры обработки данных сталкиваются с тремя основными проблемами: процессор становится узким горлом сети, чрезмерная задержка доступа к хранилищу и неконтролируемые расходы на связь для распределенных приложений.Традиционный стек протокола TCP/IP потребляет более 30% ресурсов процессора на обработку протокола и копирование данных во время крупномасштабной параллельной связиВ то же время такие приложения, как NVMe over Fabrics, распределенные системы машинного обучения (например, NCCL),и базы данных в памяти требуют латентность от конца к концу менее 20 микросекундНеобходимо срочно найти решение, которое обходит ядро и обеспечивает на уровне аппаратного оборудования транспортную загрузку.MCX623106AN-CDATв сочетании с технологиями RoCE.

Это решение использует двухслойную топологию Spine-Leaf.NVIDIA Mellanox MCX623106AN-CDATЛистные коммутаторы выполнены для беспробежной работы RoCE, позволяющей PFC (Priority Flow Control) и ECN (Explicit Congestion Notification),с выделенной очереди приоритетов, выделенной для трафика RoCEКлючевые принципы проектирования включают:

• Разделение планов управления и данных: потоки данных RoCE обрабатываются полностью аппаратным обеспечением на адаптере, в то время как протоколы управления (например, ARP, DHCP) по-прежнему следуют традиционному пути.
• Единая ткань: Ethernet несет как стандартный TCP/IP, так и трафик RoCE, при этом изоляция QoS достигается с помощью маркировки DSCP.
• Управление перегрузкой от конца к концу: Основанный на алгоритме DCQCN, устанавливающий механизм обратной связи в замкнутом цикле между адаптерами источников и переключателями.

ВКарта адаптера Ethernet MCX623106AN-CDATЕго дизайн с двумя портами 100GbE может подключаться к различным коммутаторам Leaf для избыточности или обеспечивать физическую изоляцию между хранилищем и вычислительным трафиком.

В качестве основного компонента данной плоскости этого решенияMCX623106AN-CDAT ConnectX адаптер PCIe сетевая картаобеспечивает следующие решающие возможности:

• Оборудование RoCE двигателя отгрузки: обрабатывает обработку транспортного слоя (сегментацию, сборку, подтверждение, повторную передачу) без вмешательства хост-CPU.
• Динамические разгрузки ConnectX: Автоматически распределяет трафик в несколько очередей, улучшая пропускную способность на многоядерных серверах.
• Интерфейс хоста PCIe 4.0 x16: Теоретическая пропускная способность 256 Гбит/с, обеспечивающая отсутствие узких мест для пересылки линейной скорости.
• Высокоустойчивое хранение: поддерживает аппаратное ускорение NVMe через Fabrics, включая поиск пространства имен и проверку целостности данных.

СогласноФайл данных MCX623106AN-CDATи общедоступныСпецификации MCX623106AN-CDAT, этот адаптер достигает латентности от порта к порту до 600 наносекунд и поддерживает скорость обработки пакетов до 200 миллионов пакетов в секунду.MCX623106AN-CDAT ценаявляется высококонкурентоспособным среди сопоставимых адаптеров RoCE 100GbE, иMCX623106AN-CDAT для продажиПеред выбором рекомендуется подтвердить, что модели серверов отображаются наСовместимость MCX623106AN-CDATВсе основные платформы OEM были проверены.

Описание типичной топологии:
Архитектура Clos, состоящая из 2 коммутаторов Spine и 4 коммутаторов Leaf.MCX623106AN-CDAT, с обеими портами 100GbE, подключенными к двум различным коммутаторам Leaf. Порты Leaf uplink подключаются к Spines в соотношении переподписки 4:1. Для трафика RoCE используется выделенная VLAN.

Шаги развертывания:

• Шаг 1: Физическая установкаMCX623106AN-CDATв слот PCIe 4.0 x16, затем установить последнюю прошивку и драйвер NVIDIA MLNX_OFED.
• Шаг 2: на коммутаторах настроить PFC (приоритет 3 рекомендуется) и ECN (установить Kmin/Kmax) для трафика RoCE.
• Шаг 3: В операционной системе включить режим RoCEv2 и настроить параметры DCQCN (начальные значения: α=1, β=1, период таймера 100μs).
• Шаг 4: Используйте инструменты ib_write_bw и ib_write_lat для проверки базовой производительности.

Рекомендации по масштабированию:При масштабировании кластера выше 500 узлов следует рассмотреть возможность включения в адаптер системы управления потоком (PPC) и таблиц отображения QoS, а также использовать несколько приоритетов RoCE для предотвращения блокировки линии.

Операционные команды могут использовать следующие инструменты для мониторинга состоянияMCX623106AN-CDAT Ethernet решение для карты адаптера:

• mlxconfig / mlxfwmanagerКонфигурировать параметры прошивки и управлять обновлениями прошивки.
• Эфтоол -S: Просмотр счетчиков передачи/приёма RoCE и PFC pause frame counts.
• Ибдиагноз: выполнять комплексную диагностику сети RoCE для обнаружения ненужных бурь ПФК.
• Телеметрия и HIST: Используйте встроенные таблицы распределения исторической задержки на адаптере для выявления аномалий хвостовой задержки.

Обычное устранение неполадок:

• Пропускная способность ниже ожиданий: проверьте состояние переговоров PCIe (должно быть Gen4 x16) и убедитесь, что MTU равномерно настроена на 9000 джамбо-кадров.
• Неудачи соединения RoCE: проверяйте отображение DSCP и конфигурацию VLAN, гарантируя, что переключатель не отбрасывает пакеты с маркировкой RoCE.
• Высокое использование процессора: это может указывать на то, что аппаратная загрузка не включена; проверьте настройки ethtool offload.

Рекомендации по оптимизации:Для очень чувствительных к задержке приложений (например, высокочастотная торговля, репликация журналов RDMA),рассмотреть вопрос об изменении типа службы RoCE с "подключенной" на "датаграмму" и отключении контроля за заторыми.

Решение RDMA/RoCE на основеMCX623106AN-CDATуменьшает задержку от конца до конца для распределенных приложений на порядок величины (от сотен микросекунд до десятков микросекунд) без замены существующей инфраструктуры Ethernet,одновременно освобождая 20-30% вычислительных ресурсов ЦПДля таких сценариев, как обучение ИИ, гиперконвергентное хранилище и анализ в режиме реального времени, это напрямую переводится в более короткие сроки завершения работы и более высокую плотность серверов.MCX623106AN-CDAT Ethernet решение для карты адаптера, он демонстрирует, что "беспотерительный Ethernet + умный NIC" является жизнеспособным путем достижения как высокой пропускной способности, так и низкой задержки.Файл данных MCX623106AN-CDAT, пожалуйста, ознакомьтесь с официальной документацией NVIDIA или свяжитесь с командой архитектуры решений.