NVIDIA Mellanox MCX653106A-HDAT Техническое решение: предоставление возможности передачи данных с низкой задержкой RDMA/RoCE и максимизация сервера

Архитектура современных центров обработки данных все больше определяется потребностью в обработке данных в режиме реального времени, нагрузках на искусственный интеллект (ИИ) и вычислениях высокой производительности (HPC).Традиционные сетевые стеки, особенно TCP/IP, вводят значительные затраты на процессор и задержку, которые могут парализовать эти чувствительные к производительности приложения.Архитекторы сетей и инженеры по эксплуатации имеют задачу построения инфраструктуры, которая может эффективно масштабироваться при соблюдении строгих соглашений на уровне обслуживания (SLA) для задержки и пропускной способности.

Основное требование, определенное в этом техническом плане, заключается в установлении безпотери,ткань с высокой пропускной способностью, способная поддерживать удаленный прямой доступ к памяти (RDMA) через конвергентный Ethernet (RoCE)Для достижения этой цели базовая сетевая интерфейсная карта (NIC) должна не только поддерживать скорость 100/200GbE, но и обеспечивать сложную аппаратную загрузку для высвобождения ресурсов хост-CPU.Вот гдеMCX653106A-HDATстановится основополагающим элементом решения.

Предлагаемая архитектура представляет собой топологию позвоночника, предназначенную для частной облачной среды, в которой размещаются как виртуализированные нагрузки, так и голые металлические кластеры HPC.Сеть сегментирована для поддержки трафика RoCEКлючевые компоненты дизайна включают:

• Переменчики листьев:Серия коммутаторов NVIDIA Spectrum SN3000 сконфигурирована с PFC (Priority Flow Control) и ETS (Enhanced Transmission Selection) для создания беспроигрышной ткани RoCE.
• Перемычки позвоночника:Высокопроизводительные коммутаторы, обеспечивающие бесблокирующую взаимосвязь между всеми листовыми коммутаторами.
• Узлы вычисления и хранения:Каждый сервер оснащенNVIDIA Mellanox MCX653106A-HDATдля подключения к переключателям листьев со скоростью 100 Гбит/с.

Эта конструкция гарантирует, что любая связь в центре обработки данных испытывает минимальную задержку и нулевую потерю пакетов из-за перегрузки, что имеет решающее значение для стабильности трафика RDMA.

В качествеMCX653106A-HDAT ConnectX адаптер PCIe сетевая карта, это устройство действует как критический интерфейс между шиной памяти сервера и сетевой структурой.Карта интегрирует передовые возможности контроллера ConnectX-6, который специально создан для этих требовательных условий.Карта адаптера MCX653106A-HDAT Ethernet, он позволяет:

• Байпас ядра и RDMA:Приложения могут общаться непосредственно с NIC, обходя ядро операционной системы.передача с низкой задержкой RDMA/RoCE.
• Выгрузка оборудования:Карта отгружает протоколы хранения и сетевого взаимодействия, такие как NVMe-oF и VXLAN, что еще больше снижает нагрузку на ЦП и ускоряетпропускная способность сервера.
• Поддержка PCIe Gen3/Gen4:С интерфейсом PCIe 3.0/4.0 x16,MCX653106A-HDATгарантирует, что пропускная способность сети 100/200 Гбит/с не будет ограничена внутренней шиной сервера.

Для архитекторов, изучающих технические детали,Спецификации MCX653106A-HDATЭто делает его идеальным для обработки самых интенсивных потоков данных.Решение карты адаптера MCX653106A-HDAT Ethernetдля наших целевых рабочих нагрузок.

Развертывание ткани RoCEv2 требует тщательного планирования.MCX653106A-HDAT:

• Соответствие прошивки и драйверов:Убедитесь, что все карты вспыхивают с одной и той же версией прошивки и что драйвер NVIDIA MLNX_OFED установлен последовательно во всех узлах.
• Конфигурация переключателя:Внедрить PFC на коммутаторах для конкретных очередей приоритета 802.1p, предназначенных для трафика RoCE (обычно приоритета 3).предотвращение истощения буфера.
• Конфигурация узла:На каждом сервереСовместимость MCX653106A-HDATУстройства, такие как "cma_roce_mode" используются для настройки режима RoCE на v2 для маршрутизации.

Для расширения архитектура очень масштабируема. Добавление новых вычислительных или хранилищных мощностей так же просто, как развертывание новых серверов сNVIDIA Mellanox MCX653106A-HDATНе блокирующий характер ткани гарантирует, что производительность остается предсказуемой по мере роста кластера.

Поддержание высокопроизводительной ткани RoCE требует тщательного контроля.MCX653106A-HDATпредоставляет обширные телеметрические данные с помощью стандартных инструментов и собственного программного обеспечения NVIDIA.

• Мониторинг:Используйте "mlxlink" и "mlxstat" для счета целостности и производительности ссылок. Интегрируйтесь с Grafana/Prometheus с использованием экспортеров для визуализации ключевых показателей, таких как упаковка пакетов, использование ссылок,и RDMA трафик.
• Устранение неполадок:Когда производительность ухудшается, первая проверка обычно проводится на наличие пакетов, упавших из-за штормов PFC или истощения буфера.Лист данных MCX653106A-HDATпомогает соотнести счетчики с конкретными событиями.
• Оптимизация:Для виртуализированной среды, в частности, вы можете установить настройки, которые позволят вам отрегулировать параметры прерывания.включение SR-IOV и назначение виртуальных функций (VF) непосредственно в VM еще больше снижает задержку.

При поиске оборудования, пониманиеMCX653106A-HDAT ценаДля тех, кто готов закупать, проверкаMCX653106A-HDAT для продажиСписки от авторизованных дистрибьюторов гарантируют подлинность продуктов и поддержку.

ВMCX653106A-HDATПоставляя надежную, богатую функциями платформу для RDMA/RoCE,Он напрямую отвечает потребностям отрасли в более низкой задержке и большей пропускной способности.Это техническое решение демонстрирует, что при правильном архитектуре и практике развертывания организации могут достичь:

• Снижение задержки до 95%для межпроцессовой связи по сравнению с традиционным TCP/IP.
• Значительная экономия процессора(часто 20-30%) которые могут быть реинвестированы в производительность приложения.
• Инфраструктура, надежная на будущееспособный поддерживать 200GbE и протоколы хранения следующего поколения, такие как NVMe-oF.

Для сетевых архитекторов, инженеров DevOps и лидеров операций путь к высокоэффективному центру обработки данных начинается с правильных строительных блоков.