Сетевые узкие места в кластерах обучения ИИ: решения Mellanox

Пресс-релиз:По мере экспоненциального роста сложности моделей искусственного интеллекта спрос на высокопроизводительные, масштабируемые вычисления никогда не был таким высоким. Критическим, но часто упускаемым из виду компонентом является базовая сетевой инфраструктуры ИИ , которая соединяет тысячи GPU. Mellanox, пионер в области высокопроизводительных межсоединений, решает эту конкретную задачу с помощью своей передовой технологии межсоединение с низкой задержкой, разработанной для устранения узких мест и максимизации эффективности каждого кластера GPU.

Современное обучение ИИ, особенно для больших языковых моделей (LLM) и компьютерного зрения, опирается на параллельную обработку в огромных массивах GPU. Анализы отрасли показывают, что в кластере из 1024 GPU узкие места, связанные с сетью, могут привести к падению использования GPU с потенциальных 95% до менее 40%. Эта неэффективность напрямую приводит к увеличению времени обучения, увеличению энергопотребления и значительному увеличению эксплуатационных расходов, делая оптимизированную сетевой инфраструктуры ИИ не просто преимуществом, а необходимостью.

Подход Mellanox является целостным, обеспечивая полный стек инфраструктуры, разработанный для рабочих нагрузок ИИ. Основой этого решения является семейство Ethernet-коммутаторов Spectrum и серия интеллектуальных сетевых интерфейсных карт (NIC) ConnectX. Эти компоненты специально разработаны для совместной работы, создавая беспрепятственный конвейер данных между серверами.

Ключевые технологические отличия включают:

• Вычисления внутри сети: Снимает задачи обработки данных с ЦП на NIC, резко снижая задержку.
• Адаптивная маршрутизация и RoCE: Обеспечивает оптимальный выбор пути данных и использует RDMA через Converged Ethernet (RoCE) для эффективной связи с межсоединение с низкой задержкой.
• Масштабируемая иерархическая структура: Поддерживает неблокирующие архитектуры Clos (leaf-spine), которые могут масштабироваться до десятков тысяч портов без снижения производительности.

Эффективность решения Mellanox доказана в реальных развертываниях. Следующая таблица иллюстрирует сравнение производительности между стандартной сетью TCP/IP и структурой Mellanox с поддержкой RoCE в крупномасштабной среде обучения ИИ.

Для предприятий и исследовательских институтов, инвестирующих миллионы в вычислительные ресурсы GPU, сеть является центральной нервной системой, которая определяет общую рентабельность инвестиций. Решения Mellanox для сетевой инфраструктуры ИИ обеспечивают критическое межсоединение с низкой задержкой, необходимое для обеспечения работы многоузлового кластера GPU как единого, слаженного суперкомпьютера. Это приводит к более быстрому получению информации, снижению совокупной стоимости владения (TCO) и возможности решать более амбициозные задачи ИИ.