Техническое решение коммутатора InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

July 15, 2026

Техническое решение коммутатора InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch Technical Solution. Оптимизация межсоединений с низкой задержкой для кластеров RDMA/HPC/AI

1. Анализ контекста и требований проекта

Современные системы обучения ИИ и приложения HPC все больше ограничиваются производительностью сетевых взаимосвязей, а не только плотностью вычислений.Распределенные рабочие места, особенно те, которые используют большие языковые модели, генерируютКлючевые требования, выявленные в развертывании предприятий, включают:задержка переключателя до микросекунды для минимизации расходов на связь, не блокирующая пропускная способность в масштабе, чтобы устранить переподписку, продвинутый контроль перегрузки для обработки всплесков,и бесшовная интеграция с RDMA через конвергентный Ethernet (RoCE) или нативные экосистемы InfiniBandКроме того, оперативные команды требуют глубокой телеметрии для проактивного обнаружения ошибок и упрощенного управления в сотнях портов.

2. Общий дизайн сетевой/системной архитектуры

Предлагаемая архитектура базируется на двухуровневой топологии листов-позвоночника, специально разработанной для графических процессоров.Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0как основной коммутатор ToR (Top-of-Rack), соединяющий до 40 вычислительных узлов через 400Gb/s NDR-ссылки.920-9B210-00FN-0D0 MQM9790-NS2F 400 Гбит/с NDRпереключатели, обеспечивающие полную сетевую связь с переподписью 4:1 или полностью не блокирующие при использовании с достаточным количеством спинных портов.Эта конструкция поддерживает до 512 узлов GPU в одном домене ткани, с возможностью масштабирования горизонтально через несколько подсетей, взаимосвязанных через NVIDIA UFM (Unified Fabric Manager).

Архитектура использует SHARPv3 (протокол масштабируемой иерархической агрегации и сокращения) сетевого вычислительного двигателя NVIDIA, отгружая коллективные операции непосредственно на коммутатор ASIC.Это уменьшает объем данных, проходящих через шины памяти процессора / GPU, и сокращает коллективную задержку работы до 40% по сравнению с программными подходами.920-9B210-00FN-0D0 InfiniBand переключатель OPNтакже поддерживает адаптивное маршрутизация, которая динамически выбирает наименее перегруженный путь для каждого пакета, обеспечивая оптимальное использование полосы пропускания даже при асимметричных нагрузках трафика.

3. Роль и основные особенности 920-9B210-00FN-0D0 в решении

ВNVIDIA Mellanox 920-9B210-00FN-0D0служит основным строительным блоком для всей структуры взаимосвязей.

  • Агрегация высокой плотности:При наличии до 64 не блокирующих портов 400 Гбит/с в форм-факторе 2U, коммутатор обеспечивает общую коммутационную мощность 25,6 Тб/с. Эта плотность уменьшает количество коммутаторов, необходимых на один рак,упрощение кабеля и снижение потребления электроэнергии на порт.
  • Смены с очень низкой задержкой:Коммутатор поддерживает задержку менее 600 нс для любого размера пакета, что критически важно для приложений, чувствительных к задержке хвоста, таких как онлайн-свод и финансовый HPC.
  • Компьютеры в сети:Интеграция SHARPv3 обеспечивает аппаратное ускорение коллективных операций, сокращение количества переходов по всей ткани и улучшение общего времени завершения работы до 30%.
  • Усовершенствованная телеметрия и контроль перегруженности:Коммутатор обеспечивает видимость по потоку, маркируя перегруженные потоки для корректировки на стороне хоста и позволяет ранне предупреждать о зарождающихся горячих точках.

Согласно920-9B210-00FN-0D0 лист данных, переключатель поддерживает как медные, так и оптические QSFP-DD-передатчики, что делает его920-9B210-00FN-0D0 совместимыЕго передний поток воздуха и избыточные источники питания обеспечивают высокую доступность в корпоративной среде.

4. Рекомендации по развертыванию и масштабированию (типичная топология)

Для развертывания 128 узлов графического процессора, мы рекомендуем двухуровневую архитектуру с 4 переключателями листьев и 2 переключателями позвоночника,Каждый позвоночник соединяется с каждым листьем через 4x400Gb/s подключения, что приводит к 21:1 соотношение переподписки, которое приемлемо для большинства рабочих нагрузок обучения.1 не блокирующий дизайн может быть достигнут путем увеличения количества позвоночника до 4, что дает совокупную мощность подключения, равную портам подключения.

Скалирование за пределы 512 узлов требует разделения ткани на несколько подсетей, каждая из которых управляется UFM как отдельный остров ткани.Связь между подсетями может быть направлена через шлюзы NVIDIA Quantum-2 или через маршрутизацию на базе хоста, хотя рекомендуемый подход для чувствительных к производительности рабочих нагрузок заключается в том, чтобы держать ткань в одной подсети, где это возможно.Спецификации 920-9B210-00FN-0D0поддерживать эти крупномасштабные топологии с встроенным контролем потока и контролем потока на основе приоритетов (PFC), чтобы предотвратить падение пакетов во время перенаправления маршрута.

При планировании физической кабели, рассмотреть возможность использования MPO-QSFP-DD кабелей для соединений позвоночника для уменьшения плотности кабеля, или активных оптических кабелей (AOC) для расстояний более 3 метров.920-9B210-00FN-0D0 для продажиобычно включает в себя комплексный комплект аксессуаров, но мы рекомендуем подтвердить совместимость передатчика третьей стороны через матрицу взаимодействия поставщика, чтобы избежать проблем с обучением ссылки.

5. Операции, мониторинг и диагностика ошибок

Оперативное совершенство является краеугольным камнем920-9B210-00FN-0D0 InfiniBand Switch OPN решение. переключатель легко интегрируется с платформой NVIDIA UFM, которая обеспечивает:

  • Мониторинг состояния тканей в режиме реального времени:Приборные панели для состояния связи, температуры, потребления энергии и счетчиков ошибок по портам (CRC, символ и ошибки выравнивания).
  • Прогнозный анализ сбоев:Модели машинного обучения на UFM проактивно идентифицируют неисправную оптику или ухудшающиеся связи, прежде чем они вызовут сбои в работе.
  • Автоматическое устранение неполадок:Система рекомендует корректирующие действия, такие как перенаправление трафика или изоляция неисправных ссылок, что значительно сокращает среднее время до разрешения (MTTR).

Для усовершенствованной диагностики коммутатор поддерживает sFlow и зеркальное отражение портов, позволяя глубокую инспекцию пакетов для отладки на уровне протокола.Спецификации 920-9B210-00FN-0D0для порогов буфера и рекомендуемых настроек, особенно для настройки трафика RoCEv2, если он используется в смешанных средах InfiniBand/Ethernet.Настройка производительности должна быть сосредоточена на адаптивных порогах маршрутизации и интервалах агрегации SHARPv3, которые могут быть скорректированы в зависимости от фазы нагрузки, например, обучение против вывода.

Рутинное обслуживание включает обновления прошивки, которые выполняются с минимальными перебоями с использованием возможности текущего обновления UFM,и периодическая очистка оптических соединителей для поддержания целостности сигналаИзбыточная мощность переключателя и модули вентилятора позволяют заменять горячие переключатели во время работы.

6. Резюме и оценка стоимости

ВMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0предлагает комплексное решение для организаций, стремящихся раскрыть полную производительность своих инвестиций в ИИ и HPC.и интеллектуального управления перегрузкой в рамках единого, масштабируемая платформа, она решает самые насущные проблемы взаимосвязи, с которыми сталкиваются современные центры обработки данных.Ткани для суперкомпьютеров, с использованием операционных инструментов, которые упрощают управление и снижают общую стоимость владения.

При оценке920-9B210-00FN-0D0 цена, учитывайте долгосрочную ценность: сокращение сроков завершения работы напрямую отражается в снижении затрат на облако или более быстром понимании рабочих нагрузок на месте.920-9B210-00FN-0D0 InfiniBand Switch OPN решениеподдерживается глобальной сетью поддержки NVIDIA и обширной партнерской экосистемой, гарантирующей, что организации могут уверенно развертывать, масштабировать и оптимизировать свою инфраструктуру на долгие годы.


Подробнее о планировании см.920-9B210-00FN-0D0 лист данныхиСпецификации 920-9B210-00FN-0D0документ, включающий механические чертежи, тепловые профили и показатели производительности.