Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Switch в действии. Оптимизация межсоединений с низкой задержкой для RDMA/HPC/AI

Поскольку крупномасштабные обучающие кластеры искусственного интеллекта и центры высокопроизводительных вычислений (HPC) выдвигают требования к пропускной способности сети и задержке до беспрецедентного уровня, традиционные решения Ethernet все чаще сталкиваются с проблемами контроля перегрузки и непредсказуемой задержки при рабочих нагрузках RDMA. Ведущий национальный суперкомпьютерный центр недавно столкнулся именно с этой проблемой при обновлении кластера графических процессоров следующего поколения. После оценки нескольких вариантов межсоединения команда выбралаМелланокс (NVIDIA) MQM9790-NS2Fв качестве коммутатора базовой структуры — решение, которое коренным образом изменило профиль производительности их кластера.

Существующая фабрика HDR InfiniBand суперкомпьютерного центра работала на грани насыщения. Поскольку более 2000 графических процессоров параллельно выполняли задания по обучению ИИ, такие коллективные коммуникационные операции, как «все-сокращение» и «все-ко-всем», испытывали значительные скачки задержки. Сеть стала основным узким местом, приводящим к простою графического процессора, что приводило к потере как вычислительных ресурсов, так и энергии. По оценкам инженеров, почти 30% вычислительных циклов было потеряно из-за накладных расходов на связь во время крупномасштабных распределенных обучающих запусков.

Команде нужен был коммутатор, способный обеспечить400 Гбит/с на порт, встроенная поддержка RDMA и ускорение вычислений в сети — и все это при сохранении обратной совместимости с существующей инфраструктурой HDR. После рассмотренияТехническое описание MQM9790-NS2FиТехнические характеристики MQM9790-NS2F, они определили, чтоMQM9790-NS2F Коммутатор InfiniBandпредлагал идеальный баланс плотности, производительности и набора функций.

В центре развернуто четыреMQM9790-NS2F, 400 Гбит/с, NDR, 64-портовый OSFPкоммутаторы в топологии «позвоночник», соединяющие 2048 графических процессоров через 64 ​​вычислительных узла. Каждый узел подключается через один кабель-разветвитель OSFP на 4x100 Гбит/с, обеспечивая совокупную пропускную способность 400 Гбит/с на сервер и оптимизируя плотность прокладки кабелей.

Ключом к развертыванию было обеспечение полногоСовместимость с MQM9790-NS2Fработа с существующими адаптерами конечных точек HDR. Автоматическое согласование скорости коммутатора и преобразование на канальном уровне позволили реализовать стратегию поэтапной миграции: устаревшие узлы работают на скоростях HDR, а новые серверы с поддержкой NDR используют полную полосу пропускания 400 Гбит/с. Центр также использовал внутрисетевую агрегацию SHARPv3, сократив общий трафик более чем на 65 % для сообщений большого размера, обычно встречающихся при обучении LLM.

Для тех, кто оценивает подобные обновления,Цена MQM9790-NS2Fзапросы иMQM9790-NS2F в продажедоступность значительно возросла среди корпоративных и исследовательских клиентов. Конкурентоспособная совокупная стоимость владения коммутатором — с учетом меньшего количества коммутаторов благодаря плотности 64 портов — делает его привлекательным вариантом как для новых сборок, так и для проектов обновления.

• Полное сокращение задержки (сообщение 1 ГБ):Уменьшено с 48 мкс до 19 мкс (улучшение на 60 %).
• Эффективное использование графического процессора:Увеличивается с 71% до 93% во время масштабного обучения.
• Время выполнения задания (эквивалент GPT-3 175B):Сокращено на 41 %
• Задержка хвоста, вызванная сетью (99-й процентиль):Сокращение с 210 мкс до менее 35 мкс

КакMQM9790-NS2F Коммутатор InfiniBand, развертывание продемонстрировало, что фабрики NDR 400 Гбит/с могут выполнить свои теоретические обещания. Комбинация алгоритмов контроля перегрузки и адаптивной маршрутизации устранила шаблоны коллапса, которые преследовали предыдущую структуру HDR на этапах связи «все со всеми».

Успех суперкомпьютерного центра сMQM9790-NS2Fускорили реализацию своей дорожной карты по направлению к эксафлопсным возможностям искусственного интеллекта. Сейчас они планируют второй этап, который удвоит количество графических процессоров до 4096 за счет дополнительныхMQM9790-NS2F, 400 Гбит/с, NDR, 64-портовый OSFPкоммутаторы в трехуровневой топологии «толстого дерева». Функции телеметрии и внеполосного управления коммутатора также позволили прогнозировать предотвращение перегрузок, снижая операционные издержки для сетевой команды.

Для сетевых архитекторов и ИТ-менеджеров, оценивающих фабрики нового поколения,NVIDIA Мелланокс MQM9790-NS2Fпредставляет собой зрелое, проверенное на практике решение. Независимо от того, создаете ли вы новый исследовательский кластер в области искусственного интеллекта или модернизируете существующий центр высокопроизводительных вычислений, этот коммутатор обеспечивает основу с низкой задержкой и высокой пропускной способностью, необходимую для современных параллельных рабочих нагрузок.