Серверная сетевая карта Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT в действии

Проблема: барьеры сетевой задержки в распределенных хранилищах и кластерах высокопроизводительных вычислений

В средах распределенного хранения, высокопроизводительных вычислений (HPC) и ускорения баз данных традиционный стек TCP/IP стал основным узким местом для пропускной способности серверов. Каждый раз, когда данные проходят через сетевой стек ядра, затраты на прерывание ЦП и задержка копирования в память суммируются, что снижает общую эффективность кластера. Поставщик облачных услуг среднего размера столкнулся с этой классической «стеной задержки сети» при построении кластера хранения данных NVMe over Fabrics (NVMe-oF) с флэш-накопителями. Даже при наличии коммутаторов 25GbE пропускная способность хранилища с трудом превышала 60 % от линейной скорости, в то время как ядра ЦП потребляли сетевые прерывания в течение более 30 % своих циклов. Эта задача побудила команду искать серверную сетевую карту со встроенной поддержкой RDMA (прямой удаленный доступ к памяти) и RoCE (RDMA через конвергентный Ethernet).

Решение: развертывание Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

Оценив несколько адаптеров 25GbE, команда остановила свой выбор наМелланокс (NVIDIA Mellanox) MCX631102AN-ADATсетевой адаптер сервера. Этот двухпортовый адаптер SFP28, созданный на основе ASIC ConnectX-6 Lx, разработан специально для ускорения RoCEv2. В ходе развертывания были заменены существующие сетевые адаптеры 10GbE в четырех узлах хранения и восьми вычислительных узлах, при этом каждый узел был оснащен однимMCX631102AN-ADAT Карта адаптера Ethernet. Команда настроила коммутаторы с помощью ECN (явное уведомление о перегрузке) и PFC (управление приоритетным потоком), чтобы обеспечить транспортировку RoCE без потерь, в то время как сама сетевая карта выполняла всю разгрузку путей передачи данных. СогласноТехническое описание MCX631102AN-ADAT, карта поддерживает PCIe 4.0 x8, обеспечивая достаточную пропускную способность хоста для работы двух портов 25GbE с полной линейной скоростью.

Ключевым моментом было обеспечениеMCX631102AN-ADAT-совместимыйс существующей оптикой и кабелями. Команда успешно развернула карту, используя стандартные ЦАП 25GbE SFP28 и трансиверы 10GbE SFP+ для резервных сценариев. Кроме того,MCX631102AN-ADAT ConnectX-6 Lx, двухпортовый 25GbE SFP28Конструкция позволяла использовать агрегацию активных-активных каналов (LACP), устраняя риск единой точки отказа, который ранее требовал сложных сценариев соединения.

Результаты и преимущества: измеримое увеличение задержки и пропускной способности

Тестирование после развертывания выявило три существенных улучшения. Во-первых, NVMe-oF на основе RDMA снизил среднюю задержку ввода-вывода с 210 мкс (через TCP) до всего 18 мкс — снижение на 91,4%. Во-вторых, пропускная способность сервера при случайном чтении 4 КБ выросла с 4,2 ГБ/с до 9,8 ГБ/с на узел, эффективно насыщая оба порта 25GbE одновременно. В-третьих, загрузка ЦП на узлах хранения снизилась на 52%, освободив ядра для операций сжатия, дедупликации и создания снимков.Технические характеристики MCX631102AN-ADATссылаются на аппаратную разгрузку, включая встроенное ускорение IPsec/TLS и VirtIO, которые команда планирует использовать для будущей многопользовательской изоляции безопасности.

С точки зрения эксплуатации команда оценила развитую поддержку драйверов в Ubuntu 22.04 и VMware ESXi 8.0. КакMCX631102AN-ADAT Решение для платы адаптера Ethernet, карта легко интегрировалась в существующую среду автоматизации Ansible. Те, кто ищетMCX631102AN-ADAT на продажуСледует отметить, что доступность расширилась у крупных дистрибьюторов, а оптовые цены сделали его конкурентоспособным по сравнению со старыми альтернативами с четырьмя портами 10GbE, если измерять их в пересчете на гигабит.

Резюме и перспективы: Фонд 25GbE RoCE для современных центров обработки данных

NVIDIA Mellanox MCX631102AN-ADATуспешно решил основные задачи заказчика: устранение задержек, вызванных TCP, удвоение эффективной пропускной способности на узел и значительное снижение нагрузки на ЦП. Для сетевых архитекторов и ИТ-руководителей, планирующих следующее обновление кластера, этот вариант использования демонстрирует, что переход на RoCE с аппаратной разгрузкой больше не является нишевой функцией высокопроизводительных вычислений — это практическое требование для экономичного хранения и масштабирования вычислений. Благодаря двухпортовой конструкции 25GbE, готовности к PCIe 4.0 и полной проверке NVMe-oF,MCX631102AN-ADAT Карта адаптера Ethernetпредлагает четкий путь перехода от устаревшей инфраструктуры 10GbE. Сейчас команда изучает дополнительные возможности, описанные вТехническое описание MCX631102AN-ADAT, включая управление потоками и синхронизацию аппаратных часов для рабочих нагрузок финансовых услуг. Организациям, оценивающим подобные развертывания, следует обратиться к авторизованному партнеру NVIDIA Mellanox для проверки.Цена MCX631102AN-ADATи матрицы совместимости являются рекомендуемым следующим шагом.

Ключевые слова: MCX631102AN-ADAT, NVIDIA Mellanox MCX631102AN-ADAT, MCX631102AN-ADAT Ethernet-адаптер, MCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28, техническое описание MCX631102AN-ADAT, спецификации MCX631102AN-ADAT, Цена MCX631102AN-ADAT, MCX631102AN-ADAT на продажу, совместимость с MCX631102AN-ADAT, решение для карты адаптера Ethernet MCX631102AN-ADAT