Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Серверный адаптер Техническое решение

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Серверный адаптер Техническое решение: RDMA/RoCE Низкозадержный транспорт и расширение пропускной способности сервера

1. Анализ контекста и потребностей проекта

Современные центры обработки данных претерпевают фундаментальный сдвиг от "компьютерно-ориентированных" к "ориентированным на данные" архитектур, обусловленный взрывным ростом объемов работы ИИ/ML, распределенных систем хранения,и аналитические платформы в реальном времениВ этом контексте сетевой адаптер больше не является пассивным компонентом подключения, а является важным определяющим фактором общей производительности приложения.с его ограничениями по обходу ядра и протокольной стек накладки, стал основным узким горлом, потребляя до 30% циклов процессора, не обеспечивая микросекундного уровня задержки и скорости пропускания линии, требуемой рабочими нагрузками следующего поколения.

В частности, три взаимосвязанных проблемы требуют архитектурного ответа.системы хранения данных, использующие NVMe over Fabrics (NVMe-oF), требуют задержки доступа до 100 микросекунд, чтобы полностью использовать современные флэш-медиа; любое задержка, вызванная сетью, напрямую подрывает производительность хранилища.распределенные AI-фреймворки обучения, такие как PyTorch и TensorFlow, полагаются на частые операции с полной редукцией в кластерах GPUВ-третьих, виртуализация и контейнеризация вводят дополнительные накладные расходы на инкапсуляцию,требует отгрузки интеллектуального оборудования для поддержания производительности в масштабе.Mellanox (NVIDIA Mellanox) MCX631102AN-ADATсерверный адаптер напрямую отвечает этим требованиям, обеспечивая специально построенную основу для высокопроизводительных сетей центров обработки данных с низкой задержкой.

2. Общий проект сетевой и системной архитектуры

Предлагаемое решение предусматривает двухуровневую архитектуру сети, предназначенную для максимизации возможностейКарта адаптера Ethernet MCX631102AN-ADAT. На листовом слое коммутаторы 25GbE SFP28 обеспечивают подключение ToR (Top-of-Rack), причем каждый коммутатор листа поддерживает до 48 портов.предоставление бесблокирующей сети "любой-к-любой"Эта архитектура оптимизирована для RoCE v2 (RDMA over Converged Ethernet version 2) транспорта,Использование механизмов управления перегрузкой адаптера и возможностей PFC (Priority Flow Control) для поддержания беспроблемных условий сети.

Каждый вычислительный и хранилищный узел оснащенMCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28адаптер, с портами, настроенными в режиме активный-активный, чтобы обеспечить как высокую доступность, так и совокупную полосу пропускания 50GbE. Хост-сервер взаимодействует с адаптером через PCIe 4.0 x8,обеспечение достаточной полосы пропускания автобусов для поддержания полного трафика по линииС точки зрения программного обеспечения, архитектура включает стек драйверов OFED (OpenFabrics Enterprise Distribution) от NVIDIA, обеспечивая оптимизированную поддержку RoCE в основных операционных системах.Для узлов хранения, архитектура интегрирует цели NVMe-oF, непосредственно доступные через RoCE, полностью исключая уровень TCP/IP из пути передачи данных.

3Роль и ключевые характеристики MCX631102AN-ADAT в решении

ВNVIDIA Mellanox MCX631102AN-ADATслужит основным сетевым интерфейсом как для вычислительных, так и для хранилищ, играя четыре важные роли в общей архитектуре.используя свой аппаратно-ускоренный рулевой двигатель для доставки скорости линии 25GbE через порт для всех размеров пакетовСпецификации MCX631102AN-ADAT, которые демонстрируют латентность от приложения к приложению до 1-микросекунды при сочетании с коммутаторами с поддержкой RoCE.

Во-вторых, адаптер действует как конечная точка транспорта RDMA, отгружая весь стек протокола RDMA, включая регистрацию памяти, перевод адресов и обработку завершения, с хост-CPU.Эта разгрузка особенно влияет на рабочие нагрузки на хранилища, снижая использование процессора для инициаторов NVMe-oF примерно с 18% до менее 3% по сравнению с реализациями только программного обеспечения.MCX631102AN-ADAT обеспечивает аппаратную нагрузку на VXLAN и NVGRE, обеспечивая, чтобы виртуализированная сетевая инкапсуляция не ухудшала производительность, что является критическим преимуществом для облачных внедрений.адаптер поддерживает SR-IOV (Single Root I/O Virtualization), позволяющий до 256 виртуальных функций на порт для эффективной изоляции многопользователей без ущерба пропускной способности.MCX631102AN-ADAT Ethernet решение для карты адаптераБесшовная интеграция с технологией GPUDirect Storage от NVIDIA, позволяющей непосредственно перемещать данные между GPU-памятью и удаленными устройствами NVMe через сеть.

В следующей таблице обобщены основные технические спецификации, относящиеся к архитектуре решения:

4. Рекомендации по развертыванию и масштабированию с типичной топологией

Для развертывания в зеленом поле мы рекомендуем трехуровневый подход масштабирования.с каждым узлом, оборудованным MCX631102AN-ADAT и обоими портами, подключенными к одному и тому же переключателю для агрегирования ссылокНа среднем уровне (64128 узлов) архитектура должна иметь двухуровневую конструкцию спинного листа.с двойными портами каждого узла, подключенными к разным переключателям листьев, чтобы обеспечить как производительность, так и устойчивостьНа предприятиях (256+ узлов) решение рекомендует развертывать трехуровневую архитектуру с выделенной сегментацией тканей RoCE,Изоляция трафика хранения от трафика вычислений на уровне сети, и использованиеСовместимость MCX631102AN-ADATПрирода с NVIDIA Spectrum и сторонними 25GbE коммутаторами.

Для окружающих условий адаптер обеспечивает бесшовную обратную совместимость с оптикой и кабелями 10GbE SFP +, что позволяет организациям постепенно мигрировать.Файл данных MCX631102AN-ADATпредоставляет подробные матрицы совместимости для основных серверных платформ, включая семейства Dell PowerEdge, HPE ProLiant и Supermicro SuperServer.Развертывание адаптера должно быть скоординировано с обновлениями прошивки для обеспечения того, чтобы все узлы запускали одну и ту же минимальную версию прошивки для последовательного поведения RoCEМы также рекомендуем использовать конфигурацию адаптера на основе EEPROM для поддержания настроек при перезагрузке системы, уменьшая операционные расходы во время обслуживания.

5Операции, мониторинг, устранение неполадок и оптимизация

ВMCX631102AN-ADATпредоставляет комплексные возможности телеметрии и управления с помощью инструментов NVIDIA MLNX_OFED. Для мониторинга мы рекомендуем использовать следующие операционные методы. Во-первых,Это позволяет аппаратным счетчикам потока отслеживать использование в очереди и выявлять горячие точки.mlx5_coreВторое - это то, что мы не можем использовать модуль ядра, и он может быть интегрирован с Prometheus или другими решениями TSDB.использовать PFC (Priority Flow Control) для обнаружения и устранения перегруженности сети до того, как она повлияет на производительность приложенияВ-третьих, внедрить оповещения на основе порога для температуры адаптера и состояния PCIe-ссылки для превентивного выявления деградации оборудования.

Для устранения неполадок, расширенная диагностика адаптера, включая тесты по портам, журналы обучения ссылкам и статистику слияния прерываний, обеспечивает детальное понимание проблем производительности..Мы рекомендуем установить базовую линию нормальной работы во время первоначального развертывания, захватывая ключевые показатели, такие как средняя задержка, пропускная способность и использование процессора,служить ориентиром для будущих сравненийПри оценкеMCX631102AN-ADAT ценаВ случае, если вы хотите, чтобы вы могли использовать свой собственный ресурс, организации должны учитывать операционную экономию, полученную за счет сокращения потребления ЦП и упрощения рабочих процессов устранения неполадок.

Стратегии оптимизацииКарта адаптера Ethernet MCX631102AN-ADATВ конфигурации хоста настроить размер максимальной полезной нагрузки PCIe на 512 байтов и включить модуляцию прерываний для сбалансирования задержки и эффективности процессора.конфигурировать приоритеты PFC последовательно на всех коммутаторах и адаптерах, мы рекомендуем выделить приоритет 3 для трафика RoCE и приоритет 0 для трафика управленияВ слое приложений глубина очереди RDMA должна соответствовать характеристикам рабочей нагрузки: более глубокие очереди выгодны рабочим нагрузкам на хранилище с интенсивной производительностью,в то время как более мелкие очереди уменьшают задержку для обработки чувствительных транзакций. Подробная информацияСпецификации MCX631102AN-ADATпредоставить конкретные рекомендации для настройки этих параметров на различных платформах ОС.

6. Резюме и оценка стоимости

ВMellanox (NVIDIA Mellanox) MCX631102AN-ADATпредоставляет архитектурное решение, которое решает фундаментальные проблемы современных сетей центров обработки данных: обеспечение микросекундной задержки, аппаратно-ускоренный транспорт RDMA,и постоянная пропускная способность 25GbE при одновременном снижении расходов на хост-CPUИспользуя единый сетевой интерфейс для вычислительных, хранилищных и ИИ рабочих нагрузок, адаптер упрощает инфраструктуру при одновременном повышении производительности.MCX631102AN-ADAT Ethernet решение для карты адаптерауменьшает потребление процессора, связанного с сетью, примерно на 80%, улучшает задержку доступа к хранилищу более чем на 80%,и обеспечивает предсказуемую производительность при различных условиях нагрузки с помощью аппаратного управления перегрузкой.

С точки зрения стоимости бизнеса,адаптер позволяет организациям максимизировать существующие инвестиции в коммутаторы 25GbE, обеспечивая при этом производительность, ранее достижимую только с решениями 40GbE или 100GbE.MCX631102AN-ADAT для продажиОценка последовательно демонстрирует положительную рентабельность инвестиций в течение 12-18 месяцев, обусловленную снижением количества серверов (из-за более высокой эффективности на узел) и меньшими операционными накладными расходами.Для организаций, строящих или модернизирующих сети центров обработки данных, MCX631102AN-ADAT представляет собой не просто постепенное обновление, но фундаментальное улучшение эффективности сетевой базы.