NVIDIA Mellanox MCX653105A-HDAT серверный адаптер в действии

NVIDIA Mellanox MCX653105A-HDAT серверный адаптер в действии

Основные сведения и вызов: узкое место обучения ИИ

Ведущая финансовая компания, специализирующаяся на алгоритмической торговле и анализе рисков в реальном времени, столкнулась с критической инфраструктурной проблемой.Их команда машинного обучения развернула распределенный учебный кластер, состоящий из 32 серверов с ускорением GPUОднако, поскольку сложность модели выросла с миллионов до миллиардов параметров, задержка сети стала доминирующим узким горлом.Существующие адаптеры 25GbE, работающий с традиционным TCP/IP, ввел непредсказуемую задержку, что значительно замедлило синхронизацию градиента по всему кластру.

Архитекторы инфраструктуры фирмы выявили две основные проблемы.TCP/IP стек потреблял значительные ресурсы процессора на каждом сервере до 30% доступных ядер что уменьшило емкость, доступную для фактического обучения моделиВо-вторых, отсутствие оборудования для RDMA означало, что для передачи данных между памятью GPU и сетью требуется несколько копий памяти.добавление задержек на уровне микросекунд, которые накапливались на тысячах обменов параметрами на шаг обученияКоманда нуждалась в решении, которое могло бы обеспечить детерминированную коммуникацию с низкой задержкой без потери пропускной способности сервера или требующего полного ремонта сети.

Решение и развертывание: реализация RoCE с MCX653105A-HDAT

После оценки нескольких вариантов, фирма выбралаNVIDIA Mellanox MCX653105A-HDATЭта сетевая карта PCIe была развернута в каждом из 32 учебных серверов, заменив адаптеры предыдущего поколения.MCX653105A-HDAT ConnectX адаптер PCIe сетевая картаобеспечивает необходимое сочетание высокой пропускной способности и поддержки RoCEv2 с аппаратным ускорением, что позволяет осуществлять настоящую связь RDMA по существующей Ethernet-системе.

Развертывание последовало за структурированным подходом:

• Физическая установка:Каждый сервер получалКарта адаптера MCX653105A-HDAT Ethernet, соединенные через двойные порты 25GbE SFP28 с лишними переключателями верхней части стойки.
• Конфигурация RoCEv2:Сетевые коммутаторы были сконфигурированы с приоритетом управления потоком (PFC) и явным уведомлением о перегрузке (ECN), чтобы обеспечить беспроблемный Ethernet-транспорт, необходимый для оптимальной производительности RDMA.
• GPUDirect интеграция:Команда использовала возможности GPUDirect адаптера, позволяя непосредственно перемещать данные между памятью GPU и сетевым интерфейсом без участия хост-CPU.
• Программный стек:Была установлена сетевая стек драйверов NVIDIA, а учебная структура (PyTorch с параллельным распределением данных) была сконфигурирована для использования транспортного слоя RDMA.

СогласноЛист данных MCX653105A-HDAT, адаптер поддерживает PCIe Gen 4.0 x16,обеспечивая до 256 ГБ/с пропускной способности хоста достаточно для полного насыщения двойных портов 25 ГбЭ, оставляя при этом достаточно места для будущих обновлений до 50 ГбЭ или 100 ГбЭКоманда отметила, что гибкость адаптера делает его полностьюСовместимость MCX653105A-HDATс их существующим серверным оборудованием, которое поддерживало как PCIe Gen 3.0 и 4.0.

ВСпецификации MCX653105A-HDATОни скорректировали параметры прерывания слияния, чтобы сбалансировать задержку и использование процессора.и настроить настройки приоритета в очереди, чтобы гарантировать, что трафик синхронизации градиента получает наивысшее качество обслуживания.

Результаты и измеримые выгоды

Улучшение производительности было существенным и непосредственно измеримым в нескольких измерениях:

Помимо количественных улучшений,NVIDIA Mellanox MCX653105A-HDATОни принесли операционные выгоды, которые команда не ожидала.Детерминированная задержка обеспечивала последовательное достижение конвергенции обучения в предсказуемые временные рамки, что является критическим требованием для циклов разработки моделей компании, чувствительных к времени.Освобожденные ядра процессора были перенаправлены на фактические вычисления, эффективно увеличивая эффективную вычислительную мощность кластера без добавления нового оборудования.

Команда также использовала встроенную в адаптер телеметрию, чтобы получить видимость в моделях перегрузки ткани.Эти данные помогли им оптимизировать конфигурацию буфера сети и активно идентифицировать потенциальные снижения производительности.Раствор карты MCX653105A-HDAT Ethernet адаптероказался одновременно ускорителем производительности и инструментом оперативной разведки.

Резюме и прогнозы

Это развертывание подтвердило, чтоNVIDIA Mellanox MCX653105A-HDATЭто больше, чем обновление сети, это стратегическая инвестиция в распределенную вычислительную производительность.адаптер сократил время обучения более чем на 70%, ускоренное время выхода на рынок новых моделей и значительное повышение эффективности инфраструктуры.

Фирма планирует расширить эту архитектуру на дополнительные кластеры, включая платформу анализа рисков в режиме реального времени,где необходимо обеспечить движение данных с низкой задержкой между базами данных в памяти и вычислительными узлами;.MCX653105A-HDAT цена, когда оценивается в зависимости от экономии средств и повышения эффективности,В частности, в сравнении с затратами на развертывание выделенной инфраструктуры InfiniBand или приобретение дополнительных вычислительных узлов.

Для организаций, активно оценивающихMCX653105A-HDAT для продаживарианты, это тематическое исследование показывает, что адаптер выполняет свое обещание низкой задержки, высокой пропускной способности сети в реальных производственных средах.Сочетание аппаратного ускорения, комплексная телеметрия и бесшовная совместимость с существующей инфраструктурой Ethernet делаютNVIDIA Mellanox MCX653105A-HDATфундаментальный компонент для современных архитектур дата-центров.