NVIDIA Mellanox 920-9B210-00FN-0D0 Анонсировано: Переосмысление основы сверхмасштабных ИИ-сетей со скоростью 400 Гбит/с NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 Объявлено: переопределение фундамента сети искусственного интеллекта с 400 Гбит/с NDR

По мере того как большие языковые модели масштабируются от сотен миллиардов до триллионов параметров,Традиционные сети HDR скоростью 200 Гбит/с демонстрируют свои ограничения в условиях плотной коллективной коммуникации, например, все-к-всем., где использование GPU часто падает из-за перегрузки сети.NVIDIA Mellanox 920-9B210-00FN-0D0, 400Gb/s NDR InfiniBand switch, предназначенный для обеспечения пропускной способности, плотности и сетевой интеллекта, необходимых для самых требовательных нагрузок ИИ и HPC.

Проблема: когда HDR становится узким горлом

Для организаций, масштабирующих свои кластеры GPU за пределы 2000 узлов, ограничения 200 Гбит/с HDR становятся все более очевидными.Во время операций "all-reduce" и "all-to-all", которые являются фундаментальными для распределенного обучения, перегрузка сети может снизить использование GPU с 85% до менее 50%, тратя миллионы долларов на вычислительные инвестиции.Архитекторы сетей сталкиваются с двойной проблемой обеспечения детерминированной задержки до микросекунды при сохранении беспроблемной производительности на тысячах конечных точек.

В920-9B210-00FN-0D0 InfiniBand переключатель OPN(Ordering Part Number) решает эти задачи, перенося производительность NDR на 400 Гбит/с на 64-портовую платформу OSFP,предоставление возможности и интеллекта, необходимых для устранения задержек, вызванных сетью, даже в самых требовательных средах обучения ИИ.

Основные технические характеристики

Построен на том же кремнии, что и широко принятый MQM9790-NS2F,920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDRПлатформа предоставляет полный набор функций, предназначенных для развертывания экзаразмера.920-9B210-00FN-0D0 лист данных, переключатель предлагает:

• 64 порта 400 Гбит/с NDR:Каждый порт OSFP поддерживает двунаправленный 400Gb / s с коррекцией ошибок вперед (FEC), обеспечивая совокупную мощность коммутации 51.2 Tb / s.
• Ультра-низкая задержка:Снижение задержки до 100 нс, как задокументировано вСпецификации 920-9B210-00FN-0D0, обеспечивает минимальные накладные расходы на операции RDMA и MPI.
• Интегрированный SHARPv3:Отгружает коллективные операции (все-уменьшает, все-все, трансляция) непосредственно на ткань коммутатора, уменьшая задержку связи до 40% для крупномасштабных работ.
• Адаптивное маршрутизация и управление перегрузкой:Динамически перенаправляет трафик, чтобы избежать горячих точек, сохраняя предсказуемую производительность даже при враждебных моделях трафика.
• Усовершенствованная телеметрия:Счетчики по потоку и по порту, наряду с мониторингом занятости буфера, обеспечивают глубокую видимость для проактивного управления.

В920-9B210-00FN-0D0 совместимыЭкосистема включает в себя широкий спектр сертифицированных NVIDIA кабелей OSFP, оптических приемопередатчиков и программных инструментов, обеспечивающих плавную интеграцию в существующие среды HDR или greenfield NDR.Для организаций, планирующих инфраструктуру следующего поколения, переключатель поддерживает смешанные ткани HDR/NDR, что позволяет поэтапно обновлять без нарушения производственной нагрузки.

Удовлетворение потребностей в реальной службе

Для сетевых архитекторов, разрабатывающих новые кластеры обучения ИИ или модернизирующих существующие HDR ткани,920-9B210-00FN-0D0 InfiniBand Switch OPN решениеимеет несколько убедительных преимуществ: его плотность 64 портов позволяет использовать до 64 серверов с двумя портами на один коммутатор,уменьшение количества необходимых коммутаторов и кабелей по сравнению с альтернативными 40-портовымиВ топологиях листья-позвоночника это означает меньшее количество уровней позвоночника, более низкую задержку и снижение общей стоимости владения.

С помощью Unified Fabric Manager (UFM) NVIDIA администраторы могут получить глубокую информацию о состоянии ткани, а также получить доступ к информации о ее состоянии.автоматическое обеспечениеДвойные избыточные источники питания переключателя и модули вентиляторов для горячей замены обеспечивают 99.999% доступности для критически важных приложений.

При оценке920-9B210-00FN-0D0 ценаВ то время как первоначальные затраты выше, чем у альтернатив HDR,затраты на порт и сетевые затраты на GPU значительно ниже, когда они амортизируются по большому кластеру, что делает NDR все более экономичным выбором для экзапроектов.920-9B210-00FN-0D0 для продажиТеперь он доступен через партнеров NVIDIA, с первыми поставками клиентам уже в процессе.

Резюме: Фонд НДР для ИИ нового поколения

ВNVIDIA Mellanox 920-9B210-00FN-0D0представляет собой значительный шаг вперед в области высокопроизводительных сетей, обеспечивающих пропускную способность, плотность и интеллект, необходимые для следующего поколения кластеров ИИ и HPC.Сочетая скорость NDR 400 Гбит/с с плотностью OSFP 64-порт и вычислениями SHARPv3 в сети, этот переключатель позволяет архитекторам создавать масштабируемые, детерминированные материалы, которые могут идти в ногу с самыми требовательными нагрузками на триллионы параметров.

Для организаций, планирующих свою инфраструктуру следующего поколения, 920-9B210-00FN-0D0 предлагает четкий,высокопроизводительный путь вперед, будь то в качестве развертывания в "зеленом поле" или в качестве стратегической модернизации от существующих тканей HDRС его надежным набором функций, управляемостью корпоративного уровня и бесшовной совместимостью с более широкой экосистемой NVIDIA, этот переключатель готов стать краеугольным камнем сетей экса-класса..