Решение для ускорения обучения ИИ: интеграция кластеров Mellanox DPU и GPU

Поскольку модели искусственного интеллекта растут экспоненциально по размеру и сложности, традиционные архитектуры центров обработки данных достигают своих пределов.Обучение ИИОн сделал эффективнымСетевое устройство GPUВ этом кратком описании решения рассматривается, как стратегическая интеграцияMellanox DPU(Data Processing Unit) в кластерах GPU решает критические узкие места, снимает нагрузки на хост-CPU и открывает новые уровни масштабируемости и эффективности для масштабных нагрузок ИИ.

Эра моделей с триллионами параметров прочно утвердила кластер GPU как двигатель современного ИИ. Однако по мере масштабирования кластеров до тысяч GPU возникает новая проблема:процессор хост-сервера становится перегружен перемещением данныхЭти накладные расходы, которые включают сетевые, хранилища I / O и протоколы безопасности,может потреблять более 30% серверных циклов процессора, которые отчаянно необходимы для процесса обучения ИИ.Эта неэффективность напрямую увеличивает время обучения и общую стоимость владения (TCO).

Основное узкое место в крупномасштабныхОбучение ИИКлючевые вызовы включают:

• Процессор голодает:Хост-CPU застряли в процессе управления сетевыми стеками (TCP / IP), драйверами хранилища и виртуализацией, оставляя меньше ресурсов для AI-фреймворка.
• Входно-выходное узкое место:Перемещение обширных наборов данных из хранилища в память GPU создает перегрузку на шине PCIe и сети, что приводит к времени простоя GPU.
• Общие расходы по охране:В среде с несколькими нанимателями применение политики шифрования и безопасности дополнительно облагает нагрузкой хост-CPU.
• НеэффективноСетевое устройство GPU:Операции коллективной коммуникации (например, All-Reduce) обрабатываются в программном обеспечении, создавая задержку и нервозность, которые замедляют синхронизированную тренировку.

Эти проблемы создают сценарий, когда дорогие графические процессоры остаются ждать данных, резко снижая общее использование и рентабельность инвестиций инфраструктуры ИИ.

ВMellanox DPU(теперь часть линейки продуктов BlueField NVIDIA) - это революционный процессор, разработанный специально для решения этих инфраструктурных узких мест.Это не просто сетевая интерфейсная карта (NIC), а полностью программируемая система на чипе (SoC), которая включает мощные ядра Arm и специализированные двигатели ускоренияРазвертывая DPU на каждом сервере, организации могут создать аппаратно-ускоренный уровень инфраструктуры.

• Выгрузка инфраструктуры:ВMellanox DPUЭто включает TCP/IP, NVMe over Fabrics (NVMe-oF), шифрование и функции брандмауэра.Это "освобождает" ядра процессора исключительно для применения ИИ.
• Ускоренная коммуникация:DPU оснащен аппаратно-разгруженным удаленным прямым доступом к памяти (RDMA), который позволяет GPU напрямую получать доступ к памяти других GPU по всей сети с крайне низкой задержкой,краеугольный камень высокой производительностиСетевое устройство GPU.
• Улучшенная масштабируемость:Поскольку хост-CPU освобожден от инфраструктурных обязанностей, масштабирование кластера не приводит к линейному увеличению накладных расходов CPU.Это позволяет более эффективное и предсказуемое масштабирование к массовым количеству узлов.
• Безопасность с нулевым доверием:DPU обеспечивает модель безопасности "нулевого доверия", обеспечивая аппаратно-изолированный корень доверия, управление ключами и возможность запуска приложений безопасности в изолированной среде на самом DPU,отдельно от хозяина.

ИнтеграцияMellanox DPUобеспечивает немедленное и измеримое улучшение ключевых показателей эффективности.

Эти увеличения производительности напрямую переводятся в бизнес-ценность: более быстрое время моделирования, более низкие расходы на облачные / вычислительные системы,и способность решать более сложные проблемы в рамках одной инфраструктуры.

Траектория ИИ ясна: модели будут продолжать расти, а кластеры станут еще более распределенными.Традиционный подход к проблемам инфраструктуры, связанный с увеличением числа процессоров, неустойчив..Mellanox DPUпредставляет собой фундаментальный архитектурный сдвиг, создающий выделенный, ускоренный уровень инфраструктуры, который позволяет кластерам GPU достигать беспрецедентных уровней производительности и эффективности.Это важный компонент для любой организации, которая хочет сохранить конкурентное преимущество в исследованиях и разработке ИИ..