NVIDIA Mellanox MCX556A-ECAT Server Adapter в действии: разблокировка производительности RDMA/RoCE с низкой задержкой и ускорение ИИ

NVIDIA Mellanox MCX556A-ECAT Server Adapter в действии: разблокировка производительности RDMA/RoCE с низкой задержкой и ускорение нагрузки на ИИ и распределенное хранилище

Модель:MCX556A-ECATБренд: NVIDIA Mellanox Категория: Высокопроизводительный Ethernet-адаптер Ключевые возможности: RDMA/RoCE низкозадержный транспорт и оптимизация производительности сервера

Опыт и проблемы: узкие уголки сети в обучении крупномасштабному ИИ

Для команды по инфраструктуре данных ведущей компании по технологиям автономного вождения,Быстрый рост нагрузки на обучение моделей ИИ превзошел возможности их существующей сетевой инфраструктурыИх вычислительный кластер состоял из более чем 200 серверов GPU, каждый из которых был оборудован адаптерами 25GbE, подключенными к распределенной системе хранения данных, содержащей петабайты датчиков и данных моделирования.Во время крупномасштабных учебных занятий, команда последовательно наблюдала за двумя критическими проблемами: использование GPU редко превышало 70% из-за узких мест загрузки данных,Операции по сохранению данных и контрольных пунктов, необходимые для восстановления модели, заняли более 40 секунд., что значительно замедляет циклы итеративного обучения.

Основная причина была прослежена к уровню доступа к сети: существующим адаптерам не хватало надежных возможностей RDMA, заставляя хранилище I / O пересекать стек TCP / IP и потреблять чрезмерные циклы процессора.Это привело к высокой задержке хвоста, неэффективному использованию ресурсов GPU и ограниченной масштабируемости для будущего расширения кластеров.Команда срочно нуждалась в высокопроизводительном адаптере, который мог бы обеспечить задержку RDMA до 5 мкм и полную пропускную способность линии, чтобы раскрыть потенциал их NVMe-oF-системы хранения.Это именно то место, гдеNVIDIA Mellanox MCX556A-ECATв процессе оценки.

Решение и развертывание: создание оптимальной для RDMA ткани вокруг MCX556A-ECAT

После тщательного изученияMCX556A-ECAT datasheetи подтверждение егоMCX556A-ECAT спецификацииВ соответствии с внутренними показателями производительности команда архитекторов разработала стратегию поэтапного развертывания.MCX556A-ECAT ConnectX адаптер PCIe сетевая картабыл выбран за его возможности двойного порта 50GbE и зрелый ConnectX-5 ASIC, который предлагал идеальный баланс производительности, энергоэффективности и зрелости экосистемы.

Стратегия развертывания последовала за тремя основными этапами:

• Фаза 1 Два адаптера MCX556A-ECAT были установлены на каждый вычислительный узел, с двойным расположением для отдельных переключателей с поддержкой RoCEv2.Команда сконфигурировала адаптеры с SR-IOV для выделения выделенных виртуальных функций для хранения I / O и обучения связи, обеспечивая изоляцию QoS.
• Этап 2 Цели хранения NVMe-oF были сконфигурированы для рекламы конечных точек, способных к RDMA. PFC и ECN были включены по всей структуре, чтобы гарантировать беспроблемную транспортировку трафика RoCEv2.
• ФАЗА 3 - расширение производства (все 200 узлов графического процессора):На основе положительных результатов пилотного проекта развертывание было расширено на весь кластер.MCX556A-ECAT совместимаЭкосистема обеспечивает бесшовную интеграцию с существующими серверными платформами, массивами хранения и инфраструктурой коммутаторов.

На протяжении всего развертыванияMCX556A-ECAT Ethernet адаптерная картапродемонстрировал исключительную простоту подключения.Команда использовала стек драйверов MLNX_OFED с библиотекой коллективных коммуникаций NVIDIA (NCCL) для оптимизации производительности RDMA для моделей связи GPU-to-GPU и GPU-to-storage.

Измеримые результаты: значительные приросты производительности и высвобождение ресурсов

После полномасштабного развертывания производства команда задокументировала существенные улучшения по нескольким критическим показателям.В таблице ниже приведено сопоставление показателей до и после введенияNVIDIA Mellanox MCX556A-ECAT:

Помимо количественных улучшений, команда сообщила о резком сокращении времени итерации обучения с 4,2 дня в среднем на одну модель до 2,8 дня.увеличение общего времени выхода на рынок для новых моделей автономного вождения на 33%Кроме того, при оценкеMCX556A-ECAT ценаПо сравнению с общими затратами на владение, ROI стал убедительным в течение первых двух месяцев использования в производстве. Освобожденная емкость процессора позволила команде отложить запланированные обновления серверов,В то время как сокращенное время обучения напрямую переводилось в конкурентное преимущество.MCX556A-ECAT на продажуПоскольку NVIDIA не имеет возможности использовать опционы через партнеров по каналам, она предлагает гибкие модели закупок, которые соответствуют циклам капитальных затрат компании.

Резюме и перспективы: фундамент будущей инфраструктуры ИИ

Реальное применениеNVIDIA Mellanox MCX556A-ECATВ этой автономной среде управления показано, что подключение серверов с поддержкой RDMA/RoCE больше не является роскошью, а необходимостью для современных нагрузок ИИ.MCX556A-ECAT Ethernet adapter card solutionУже доказано, что он способен устранить узкие места для хранения данных, максимизировать использование графического процессора и значительно ускорить циклы обучения моделей - все это в рамках единой, управляемой сетевой структуры.

В будущем команда планирует изучить дополнительные случаи использования,MCX556A-ECAT ConnectX адаптер PCIe сетевая карта, включая передачу данных датчиков в режиме реального времени и синхронизацию с несколькими кластерами для федеративного обучения.MCX556A-ECAT datasheetи развивающийсяMCX556A-ECAT спецификацииПоскольку все большее число предприятий сталкиваются с аналогичным давлением на масштабирование в области ИИ и HPC,MCX556A-ECATпредлагает проверенную модель для балансирования производительности, надежности и простоты работы в критически важных условиях.