NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch на практике | Оптимизация низколатентных межсоединений для RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch на практике в области оптимизации межсоединений с низкой задержкой для кластеров RDMA, HPC и AI

В современном обучении искусственному интеллекту, моделировании HPC и распределенных средах хранения реальным узким горлом редко является сырая вычислительная мощность - это эффективность взаимосвязи узла с узлом.NVIDIA Mellanox MQM9790-NS2F, 400Gb/s NDR InfiniBand switch, предназначен для обращения именно к этому слою стека.Высококачественный анализ, и производительность кластера ИИ с помощью конструкции ткани с низкой задержкой.

История и трудности

Типичный исследовательский или корпоративный кластер ИИ может состоять из сотен серверов GPU, параллельной файловой системы и планировщика задач, распределяющих рабочие нагрузки MPI и NCCL.Каждый узел может генерировать гораздо больше трафика с востока на запад, чем 200Gb/s HDR ткань может удобно поглотитьКоманды обычно сообщают о трех проблемных моментах: увеличение задержки задержки во время коллективных операций, перегрузка, распространяющаяся по уровням ткани, и сложность масштабирования количества портов без добавления прыжков.

Для сетевых архитекторов задача заключается не только в повышении скорости связи, но и в сохранении детерминированного, беспотеристого транспорта, сохраняя при этом ткань достаточно плоской, чтобы избежать ненужной задержки.Именно здесь становится необходимой оценка спецификаций MQM9790-NS2F по сравнению с реальными профилями нагрузки.

Решение и подход к развертыванию

В этом сценарии кластер был переведен на 400Gb/s NDR спинно-листную ткань, построенную вокруг коммутатора MQM9790-NS2F InfiniBand.Он обеспечивает высокий радикс в одном переключателе, что позволяет уменьшить уровни ткани при сохранении не блокирующей полосы пропускания.

• Листный слой: коммутаторы MQM9790-NS2F соединяют узлы графического процессора и цели хранения через 400 Гбит/с NDR-ссылки
• Спинный слой: дополнительные MQM9790-NS2F обеспечивают связь между листьями и разнообразие пути
• Коллективное ускорение: NVIDIA SHARPv3 отгружает операции MPI и NCCL на ткань
• Контроль перегруженности: адаптивное маршрутизация и продвинутые QoS защищать от инкаста и горячих точек
• Управление: стандартные инструменты InfiniBand и телеметрия для мониторинга состояния тканей

Поскольку коммутатор MQM9790-NS2F InfiniBand является частью семейства Quantum-2, он взаимодействует с существующими методами управления InfiniBand и адаптерными экосистемами.Команды, оценивающие совместимое с MQM9790-NS2F оборудование, должны проверить, что адаптеры хост-каналов, кабели OSFP и уровни прошивки соответствуют требованиям NDR.Решение MQM9790-NS2F InfiniBand Switch такого рода, как правило, планируется наряду с циклами обновления GPU, чтобы избежать узких мест смешанного поколения..

Результаты и польза

После развертывания наиболее заметным изменением было время завершения работы для плотно связанных рабочих нагрузок.Коллективные операции, которые ранее застряли из-за перегрузки, теперь завершены с более низкой и более последовательной задержкойПлотность 64-портного OSFP также упростила кабелирование и уменьшила количество переключающих прыжков между любыми двумя конечными точками, что напрямую выгодно производительности RDMA.

С точки зрения операций, ткань стала легче объяснять. Меньше уровней означает меньше доменов сбоев и более простое устранение неполадок.разделяет тот же транспорт с низкой задержкой, что и вычислительный трафикДля ИТ-менеджеров ключевой вывод заключается в том, что инвестиции на тканевом уровне могут разблокировать емкость, уже оплаченную на уровне вычислений.

Команды по закупкам и планированию часто просматривают информационный лист MQM9790-NS2F для подтверждения количества портов, мощности и охлаждения перед завершением проектирования.Вопросы о цене MQM9790-NS2F и доступности MQM9790-NS2F для продажи лучше всего направлять уполномоченным дистрибьюторам и представителям предприятий NVIDIA, поскольку цена зависит от конфигурации, поддержки и региона.

Резюме и перспективы

NVIDIA Mellanox MQM9790-NS2F демонстрирует, как высокорадиксовая платформа NDR 400Gb / s может изменить производительность кластеров AI, HPC и RDMA без добавления сложности ткани.По мере увеличения масштаба нагрузки и плотности GPUДля архитекторов, планирующих следующее обновление ткани, MQM9790-NS2F является практичным строительным блоком для детерминистических,высокопроизводительные соединения.