Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Switch в действии. Оптимизация межсоединений с низкой задержкой для RDMA/HPC/AI

Поскольку крупномасштабные учебные кластеры ИИ и высокопроизводительные вычислительные (HPC) центры повышают требования к пропускной способности и задержке сети до беспрецедентного уровня,Традиционные решения Ethernet все больше борются с ограничением перегрузки и непредсказуемой задержкой работы в процессе работы RDMAНедавно ведущий национальный суперкомпьютерный центр столкнулся с именно этой проблемой при обновлении кластера GPU следующего поколения.Mellanox (NVIDIA) MQM9790-NS2FЭто решение коренным образом изменило профиль эффективности их кластеров.

Фон и вызов: стена масштабируемости

Существующий суперкомпьютерный центр HDR InfiniBand работал почти насыщенно.В результате, как отмечается в докладе, в результате операций коллективной связи, таких как "all-reduce" и "all-to-all", наблюдается значительный рост задержки.Сеть стала основным узким горлом, вызывая время простоя GPU, которое тратило как вычислительные ресурсы, так и энергию.Инженеры подсчитали, что почти 30% вычислительных циклов были потеряны из-за коммуникационных затрат во время крупномасштабных распределенных тренировок.

Команде нужен был переключатель, способный доставлять400 Гбит/с на порт, поддержка RDMA и ускорение вычислений в сети, при сохранении обратной совместимости с существующей инфраструктурой HDR.Лист данных MQM9790-NS2FиСпецификации MQM9790-NS2F, они определили, чтоMQM9790-NS2F InfiniBand переключательПредлагал идеальный баланс плотности, производительности и набора функций.

Решение и развертывание: обновление 64-портовой NDR-фабрики

Центр развернул четыреMQM9790-NS2F 400Gb/s NDR 64-портный OSFPкоммутаторы в топологии спинного листа, соединяющие 2048 графических процессоров на 64 вычислительных узлах. Каждый узел соединяется через один разделительный кабель OSFP-to-4x100Gb/s,предоставление совокупной пропускной способности 400 Гбит/с на сервер при оптимизации плотности управления кабелями.

Ключом к развертыванию было обеспечение полногоСовместимая с MQM9790-NS2Fработа с существующими адаптерами конечных точек HDR. The switch’s automatic speed negotiation and link-layer translation allowed a phased migration strategy — legacy nodes operate at HDR speeds while new NDR-capable servers leverage full 400Gb/s bandwidthЦентр также использовал SHARPv3 в сети агрегации, уменьшая все-уменьшить трафик более чем на 65% для больших размеров сообщений обычно встречаются в LLM обучения.

Для тех, кто оценивает подобные обновления,Цена MQM9790-NS2Fзапросы иMQM9790-NS2F для продажиВ то же время, по мнению экспертов, в настоящее время существует большая вероятность того, что эти технологии будут доступны для предприятий и исследовательских клиентов.Конкурентоспособные общие затраты на владение коммутаторами, учитывающие меньшее количество коммутаторов из-за плотности 64-х портов, делают его привлекательным вариантом как для новых конструкций, так и для проектов обновления..

Результаты и преимущества: Измеримые результаты

• Все-уменьшить задержку (1 ГБ сообщение):Уменьшено с 48 мкм до 19 мкм (улучшение на 60%)
• Эффективное использование GPU:Увеличилось с 71% до 93% в ходе масштабного обучения
• Время завершения работы (эквивалент GPT-3 175B):Сокращение на 41%
• Продолжительность задержки, вызванная сетью (99-й процентный пункт):Резка от 210 мкм до менее 35 мкм

В качествеMQM9790-NS2F Раствор коммутатора InfiniBand, развертывание продемонстрировало, что ткани NDR 400Gb/s могут выполнять свои теоретические обещания.Сочетание алгоритмов управления перегрузкой и адаптивного маршрутизации устранило "встроенные" шаблоны коллапса, которые мучили предыдущую HDR ткань во время всех-в-всех фаз связи.

Резюме и перспективы: Фонд экзамасштабного ИИ

Успех суперкомпьютерного центраMQM9790-NS2FСейчас они планируют вторую фазу, которая удвоит количество графических процессоров до 4096 с использованием дополнительныхMQM9790-NS2F 400Gb/s NDR 64-портный OSFPТелеметрия и функции управления вне полосы также позволили предотвратить предсказуемые перегрузки.сокращение операционных накладных расходов для команды сети.

Для сетевых архитекторов и ИТ-менеджеров, оценивающих ткани следующего поколения,NVIDIA Mellanox MQM9790-NS2FНезависимо от того, строите ли вы новый исследовательский кластер ИИ или модернизируете существующее оборудование HPC, этот коммутатор обеспечивает низкую задержку,фундамент с высокой пропускной способностью, необходимый для современных параллельных нагрузок.