Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT серверный адаптер в действии: RDMA/RoCE-управляемый низкозадержный транспорт и сервер

В реальных производственных средах, где размещаются распределенные базы данных, кластеры для инференса ИИ и гиперконвергентные хранилища, задержка, джиттер и накладные расходы на ЦП, вызванные традиционным стеком TCP/IP, стали серьезными препятствиями для масштабирования. Команда, отвечающая за крупномасштабную интернет-инфраструктуру, недавно завершила комплексное обновление сети на базе серверного адаптера Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT, сосредоточившись на проверке ощутимых преимуществ технологии RDMA/RoCE для низколатентной передачи данных и повышения пропускной способности сервера. В этой статье подробно рассматриваются детали развертывания и ключевые результаты этого практического кейса.

Команда эксплуатировала кластер из тысяч серверов, на которых работали распределенные хранилища (Ceph) и системы рекомендаций в реальном времени. Во время пиковых нагрузок каждый узел хранения должен был обрабатывать тысячи одновременных TCP-соединений, потребляя почти 30% ресурсов ЦП на обработку сетевых протоколов, при этом сквозная задержка чтения/записи часто превышала 200 мкс. Кроме того, эксперименты с NVMe over Fabrics между стойками, лишенные аппаратной разгрузки, неизменно не позволяли достичь ожидаемой производительности локальных флэш-накопителей. Команда срочно нуждалась в решении серверного адаптера, способном поддерживать RoCEv2, обеспечивать аппаратную разгрузку транспорта и одновременно предлагать как высокую пропускную способность, так и низкую задержку.

После оценки команда выбрала MCX623106AN-CDAT в качестве основного сетевого движка. Этот адаптер относится к семейству ConnectX-6 Dx. Простой заменой устаревших адаптеров 10GbE на NVIDIA Mellanox MCX623106AN-CDAT на каждом узле и развертыванием без потерь конфигурации сети RoCE (DCQCN и PFC) команда заложила основу. Чтобы полностью использовать возможности Ethernet-адаптера MCX623106AN-CDAT, узлы хранения включили аппаратную разгрузку TCO и динамическую агрегацию каналов. Во время развертывания инженеры обращались к техническому описанию MCX623106AN-CDAT для получения руководства по возможностям PCIe 4.0 x16 и двухпортовым 100GbE, обеспечивая бюджет канала и совместимость с объединительной платой. После тестирования все серверы достигли совместимого с MCX623106AN-CDAT соединения с существующими коммутаторами Leaf-Spine, не требуя замены основного сетевого оборудования.

Оценка производительности после обновления дала поразительные результаты. При выполнении той же рабочей нагрузки распределенного хранения узлы, оснащенные сетевой картой PCIe MCX623106AN-CDAT ConnectX, продемонстрировали:

• Средняя сквозная задержка снизилась с 210 мкс до 18 мкс (операции чтения NVMe over Fabrics по RoCEv2);
• Накладные расходы ЦП на сеть снизились с 28% до 4%, освободив вычислительные циклы для бизнес-приложений;
• Эффективная пропускная способность на узел достигла 98,7 Гбит/с, что близко к линейной скорости пересылки;
• Общий IOPS случайной записи 4K многоузлового кластера Ceph увеличился в 3,2 раза.

Руководитель команды отметил: "Решение на базе Ethernet-адаптера MCX623106AN-CDAT обеспечивает истинную линейную скорость RoCE в нашей среде. Чувствительные к задержкам смешанные рабочие нагрузки, которые ранее были немыслимы, теперь могут сосуществовать с фоновыми задачами на одном сетевом плане". Кроме того, по данным закупочных записей, цена MCX623106AN-CDAT в данном случае снизила общую стоимость владения (TCO) на 40% по сравнению с адаптерами-ускорителями на базе FPGA, а MCX623106AN-CDAT для продажи через стандартные каналы значительно сократил сроки проекта. Подробные характеристики MCX623106AN-CDAT подтвердили, что адаптер обеспечивает задержку менее 600 нс и производительность на скорости линии для всех размеров пакетов, что идеально соответствовало требованиям команды.

Этот практический пример применения наглядно демонстрирует, что MCX623106AN-CDAT — это не просто высокопроизводительный Ethernet-адаптер, а краеугольный камень для построения низколатентных, высокопроизводительных сетей центров обработки данных. Его полная архитектура разгрузки RoCE и движок аппаратного ускорения решают основные проблемы сетевой обработки, ограниченной ЦП, и задержек стека протоколов. Для любой организации, стремящейся повысить пропускную способность серверов, снизить задержку доступа к хранилищу и подготовиться к рабочим нагрузкам ИИ и NVMe-oF, Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT предлагает проверенный, готовый к производству путь вперед.