NVIDIA Mellanox MCX653105A-HDAT в действии: RDMA/RoCE низкозадержка транспорта и оптимизация пропускной способности сервера

NVIDIA Mellanox MCX653105A-HDAT в действии: RDMA/RoCE низкозадержка транспорта и оптимизация пропускной способности сервера

Опыт и проблемы: узкое место в сети в кластере ИИ/HPC

Большое технологическое предприятие недавно развернуло 128 узлов GPU-ускоренного кластера для обучения большим языковым моделям (LLM),с каждым узлом, оснащенным восемью графическими процессорами NVIDIA H100 и высокопроизводительным хранилищем NVMeОднако при масштабировании за пределы 32 узлов, кластер испытал резкое снижение производительности.в то время как TCP/IP сетевой стек потреблял более 45% ресурсов процессора на узелСеть, построенная на нескольких 25GbE-связях, стала основным узким горлом, серьезно ограничивая использование GPU и продлевая циклы обучения далеко за пределы приемлемых сроков.Команда срочно нуждалась в решении, способном обеспечить как сверхнизкую задержку, так и огромную пропускную способность, одновременно снимая нагрузку на процессорную сетевую обработку.

Решение и развертывание: трансформация ткани с помощью MCX653105A-HDAT

После тщательной технической оценки команда выбралаNVIDIA Mellanox MCX653105A-HDATКаждый узел GPU был оснащенMCX653105A-HDAT ConnectX адаптер PCIe сетевая карта, сконфигурированный с подключением 100GbE с двумя портами для обеспечения 200 Gb/s совокупной пропускной способности на сервер.

Развертывание осуществлялось в четыре структурированных этапа:

• Фаза 1 Каждый сервер получалКарта адаптера MCX653105A-HDAT Ethernet, с обоими портами QSFP28, подключенными к двум избыточным переключателям NVIDIA Spectrum-4.
• Фаза 2 Конфигурация RoCEv2:Команда активировала RoCEv2 по всей структуре, тщательно настраивая параметры управления приоритетом потока (PFC) и явной уведомления о перегрузке (ECN), чтобы создать беспроблемную среду Ethernet.Усовершенствованные функции управления перегрузками подробно описаны вЛист данных MCX653105A-HDATбыли важными для достижения оптимального распределения буфера.
• Фаза 3 Оптимизация NCCL:Библиотека коллективных коммуникаций NVIDIA (NCCL) была переконфигурирована для использования возможностей RDMA адаптера,с настраиваемыми правилами управления движением, запрограммированными в встроенные процессоры адаптера для оптимизации для конкретных моделей все-уменьшить и все-собрать нагрузку LLM.
• Фаза 4 Проверка и тонкая настройкаИспользуя данные телеметрии, полученные с помощьюСпецификации MCX653105A-HDAT, команда проверила конфигурацию, отрегулировала настройки прерывания и установила базовые показатели производительности для постоянного мониторинга.

Примечательно, что адаптер оказалсяСовместимость MCX653105A-HDATс существующей кабельной инфраструктурой, поскольку порты QSFP28 поддерживают как оптику 100GbE, так и 25GbE, что позволяет удобную миграцию без разрушительной замены кабеля.Команда также использовала возможности мультихоста адаптера для поддержки вычислительных и хранилищных функций на одном и том же физическом порту.

Результаты и преимущества: Измеримые улучшения результатов обучения

Улучшение производительности, достигнутоеNVIDIA Mellanox MCX653105A-HDATКлючевые показатели производительности до и после обновления приведены ниже:

Помимо этих количественных достижений, команда наблюдала значительные оперативные преимущества.резкое ускорение циклов итерации моделиПрограммируемый маршрут передачи данных адаптера позволил настроить трафик для приоритетных потоков, гарантируя, что критический трафик коллективной связи никогда не испытывает конфликта.Для организаций, оценивающих доходность инвестиций, вMCX653105A-HDAT ценаПоказано, что увеличение пропускной способности в 3 раза и возможность отсрочить приобретение дополнительных серверов GPU как минимум на 12 месяцев.MCX653105A-HDAT для продажиСхемы с коммутаторами NVIDIA Spectrum-4 предлагали наиболее выгодную экономику для полного развертывания кластеров.

Резюме и перспективы: Фонд инфраструктуры искусственного интеллекта нового поколения

Это развертывание в производственном масштабе подтверждает, чтоNVIDIA Mellanox MCX653105A-HDATявляется трансформационным компонентом для современных кластеров ИИ и HPC. Сочетание 200 Гбит/с совокупной пропускной способности, задержки коллективной связи менее 0,3 миллисекунды,и всеобъемлющие отгрузки оборудования позволяют организациям достичь почти линейного масштабирования для GPU-ускоренных нагрузокКак от конца к концуРаствор карты MCX653105A-HDAT Ethernet адаптер, это устраняет узкое место в сети, которое исторически ограничивало эффективность распределенного обучения.

В перспективе предприятие изучает интеграцию с NVIDIA DOCA для внедрения дополнительной программируемости маршрута данных для оптимизации рабочей нагрузки.Они также используют передовую телеметрию адаптера, широко документированную вЛист данных MCX653105A-HDAT- создание прогнозных моделей эффективности и автоматизированных стратегий снижения уровня перегрузки.NVIDIA Mellanox MCX653105A-HDATстал краеугольным камнем их дорожной карты инфраструктуры ИИ, обеспечивая прочную, масштабируемую основу для разработки и развертывания модели фундамента следующего поколения.