NVIDIA Mellanox MQM9790-NS2F InfiniBand коммутатор в действии: оптимизация низколатентных межсоединений

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch в действии: оптимизация низколатентных соединений для кластеров RDMA/HPC/AI

В задачах обучения ИИ, высокопроизводительных вычислений (HPC) и крупномасштабных распределенных хранилищ сетевая задержка и пропускная способность часто определяют верхний предел эффективности кластера. Чтобы помочь организациям преодолеть этот барьер, коммутатор InfiniBand MQM9790-NS2F от NVIDIA Mellanox становится основным компонентом сетевых соединений во многих развертываниях ИИ и HPC. Эта статья подробно описывает реальное обновление крупномасштабного кластера для обучения ИИ, демонстрируя, как этот коммутатор обеспечивает низколатентные сети RDMA и измеримое повышение производительности.Предпосылки и вызовы: сетевое давление от тысяч до десятков тысяч GPU

Ведущее научно-исследовательское учреждение ранее использовало кластер с тысячами GPU для обучения больших языковых моделей и моделирования погоды. По мере роста параметров моделей с десятков миллиардов до сотен миллиардов существующая сеть InfiniBand 200 Гбит/с HDR начала испытывать перегрузки и увеличение накладных расходов на связь. Операции Cross-node All-Reduce занимали значительно больше времени, а GPU часто простаивали в ожидании сетевых передач. Архитекторам срочно потребовалось решение, предлагающее более высокую плотность портов, более точную балансировку нагрузки и полную совместимость с существующей инфраструктурой RDMA.

После тщательной оценки команда выбрала сеть InfiniBand класса NDR на базе

NVIDIA Mellanox MQM9790-NS2F. Благодаря 64 портам OSFP, каждый из которых работает на скорости линии 400 Гбит/с, коммутатор идеально соответствует требованиям к пропускной способности серверов GPU нового поколения.Решение и развертывание: сеть NDR + без потерь RDMA

В новой конструкции каждый сервер GPU оснащен двухпортовыми адаптерами ConnectX-7, подключенными к двум коммутаторам уровня leaf. В ядре коммутаторы

MQM9790-NS2F 400Gb/s NDR 64-port OSFP образуют двухуровневую топологию Fat-Tree, используя неблокирующую архитектуру Clos. Включены адаптивная маршрутизация и управление перегрузками, использующие нативную InfiniBand RDMA для прямой передачи данных из памяти GPU в удаленную память GPU, минуя накладные расходы на ЦП и программный стек.Использование портов и совместимость:

• Существующие адаптеры HDR могут работать на пониженной скорости, защищая предыдущие инвестиции. Список MQM9790-NS2F совместим охватывает основные серверы GPU и системы хранения данных, не требуя модификации драйверов во время развертывания.Интеллектуальные операции:
• Встроенная телеметрия в реальном времени отслеживает ошибки связи и перегрузки, помогая командам быстро выявлять проблемы с оптическими модулями или кабелями и значительно сокращая среднее время восстановления.Результаты и преимущества: время итерации обучения сокращено на 38%, накладные расходы на сеть снижены до 8%

После обновления учреждение провело сравнительные тесты на производственных рабочих нагрузках. В задаче предварительного обучения в стиле GPT с 100 миллиардами параметров кластер, построенный на

коммутаторе InfiniBand MQM9790-NS2F, сократил время итерации с 2,8 секунд до 1,73 секунд — улучшение на 38%. Доля сетевых коммуникаций в общей задержке упала с 22% до 8%, что означает, что GPU тратили значительно больше времени на полезные вычисления. Благодаря встроенным в коммутатор NDR вычислениям SHARPv3 пропускная способность All-Reduce почти удвоилась.В области хранения данных низколатентный NVMe через InfiniBand увеличил совокупную пропускную способность чтения/записи параллельной файловой системы в 2,3 раза. Время сохранения и восстановления контрольных точек сократилось с 12 минут до менее чем 5 минут. Эти цифры отражены во внутренних отчетах об испытаниях и соответствуют базовым показателям

спецификаций MQM9790-NS2F.Резюме и перспективы: NDR Interconnect как стандартный выбор для инфраструктуры ИИ нового поколения

Этот пример наглядно демонстрирует, что для крупномасштабных кластеров RDMA/HPC/AI внедрение

решения на базе коммутатора InfiniBand MQM9790-NS2F эффективно устраняет сетевые перегрузки, повышает утилизацию GPU и упрощает операции. Для архитекторов, планирующих кластеры на десятки тысяч GPU, техническое описание MQM9790-NS2F является важным справочным материалом для оценки мощности, плотности портов и наборов функций. Модель находится в серийном производстве; по вопросам цены на MQM9790-NS2F или MQM9790-NS2F для продажи обращайтесь к авторизованным партнерам NVIDIA. Поскольку будущие рабочие нагрузки будут требовать пропускной способности 800 Гбит/с и выше, платформа коммутации NDR будет продолжать играть ключевую роль в раскрытии вычислительного потенциала.