Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT серверный адаптер в действии: RDMA/RoCE низкозадержный транспорт и сервер

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT серверный адаптер в действии: RDMA/RoCE низкозадержный транспорт и оптимизация производительности сервера

Опыт и вызов: узкие уголки сети в области распределенного хранения и обучения ИИ

В реальной производственной среде у среднего поставщика облачных услуг основной бизнес-портфель включает распределенное хранилище блоков (Ceph) и платформы обучения моделей ИИ на основе графического процессора.Поскольку объем данных о клиентах вырос более чем на 200% в год, устаревшая 10GbE TCP/IP сетевая архитектура постепенно раскрывала две критические проблемы.предотвращение полного использования пула накопления данных NVMeВо-вторых, при синхронизации градиентов в кластерах обучения GPU пропускная способность сети может достигать только 60% теоретической пропускной способности,с значительной частью ресурсов процессора, потребляемых стеком сетевого протокола, серьезно препятствуя эффективности итерации обучения.Архитектурная группа срочно нуждалась в решении сетевого интерфейса, способном как уменьшить задержку передачи, так и существенно улучшить эффективную пропускную способность сервера.

Решение и развертывание: капитальный ремонт RoCE с MCX631102AN-ADAT ConnectX-6 Lx

После оценки нескольких альтернатив, команда выбралаMellanox (NVIDIA Mellanox) MCX631102AN-ADATВ частности, в 1998 г. было принято решение о созданииКарта адаптера Ethernet MCX631102AN-ADATбыл развернут на 120 узлах хранения данных и 64 узла вычисления GPU, заменив существующие адаптеры 10GbE. Каждый сервер был оснащен двухпортовой конфигурацией 25GbE SFP28,с одним портом, соединяющимся с производственной тканью RoCE, и вторым портом, предназначенным для управления и резервного трафикаРазвертывание использовалоMCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28поддержка RoCE v2 адаптера, исключая необходимость в дополнительных устройствах шлюза или слоях перевода протокола.

В первом этапе команда развернулаMCX631102AN-ADAT Ethernet решение для карты адаптераВторой этап включал в себя обновление GPU вычислительных узлов.с возможностью GPUDirect Storage адаптера, позволяющей памяти GPU напрямую общаться с удаленным хранилищем NVMe через сеть RoCE, полностью обходя участие ЦПВесь развертывание было завершено в течение двух недель, при сохранении существующей инфраструктуры коммутатора 25GbE, демонстрируяСовместимость MCX631102AN-ADATПрирода с стандартным оборудованием для сетевого управления центрами обработки данных.

Измеренные результаты и повышение производительности

Улучшение производительности послеNVIDIA Mellanox MCX631102AN-ADATВ следующей таблице обобщены ключевые показатели до и после, наблюдаемые в производственной среде:

Помимо количественных показателей, команда наблюдала качественное улучшение операционной стабильности.MCX631102AN-ADATПо данным, полученным в результате исследования, это позволило устранить периодические спады пропускной способности, наблюдаемые ранее во время перегрузки трафика, обеспечивая предсказуемую производительность для задач обучения, чувствительных к задержке.Спецификации MCX631102AN-ADAT, продвинутый рулевой двигатель адаптера и возможности RDMA гарантировали, что даже при 128 одновременных соединениях NVMe-oF по порту производительность скорости линии постоянно поддерживается.

С точки зрения общих затрат, архитектурная группа рассчитала, чтоMCX631102AN-ADAT ценаэффективная пропускная способность на гигабит была значительно ниже, чем переход на 40GbE или 100GbE.Возможность повторного использования существующей кабельной инфраструктуры SFP28 и коммутаторов еще больше снизила капитальные затраты., делаяMCX631102AN-ADAT для продажиОценка - убедительный бизнес-сценарий для руководства поставщика.

Резюме и перспективы: Создание будущей сетевой базы

Производственное развертываниеMellanox (NVIDIA Mellanox) MCX631102AN-ADATдемонстрирует четкий путь вперед для организаций, стремящихся раскрыть весь потенциал своей распределенной инфраструктуры.Комбинируя RDMA/RoCE низкозадержанный транспорт с аппаратно-ускоренными отгрузками, адаптер эффективно устраняет сеть как узкое место для производительности, будь то обучение ИИ, программное обеспечение для хранения данных или высокочастотная обработка транзакций.Опыт команды подтверждает, чтоКарта адаптера Ethernet MCX631102AN-ADATобеспечивает не только улучшения показателей, но и ощутимые повышения производительности: время выполнения заданий по обучению GPU сократилось в среднем на 34%,и время отклика кластера хранения были последовательно соблюдены даже в периоды пиковой нагрузки.

В перспективе поставщик планирует масштабироватьMCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28Развертывание в дополнительных зонах доступности, с ранними оценками уже в процессе интеграции адаптера с BlueField DPU NVIDIA для дальнейшей программируемости сети.Для инженерных команд, оценивающих аналогичные обновления, подробныйФайл данных MCX631102AN-ADATДанный случай подтверждает явную тенденцию в отрасли: интеллектуальные,25GbE адаптеры с оборудованием, такие как MCX631102AN-ADAT, быстро становятся новой базовой базой для дизайна центров обработки данных с учетом производительности..