Сравнение сетей HPC: InfiniBand против Ethernet

Дата:12 ноября 2023 г.

Неустанное стремление к эксаскейлинговым вычислениям и сложным рабочим нагрузкам в области ИИ подтолкнуло инфраструктуру высокопроизводительных вычислений (HPC) к своим пределам. В основе этой эволюции лежит критическое архитектурное решение: выбор сетевой структуры. Дискуссия о InfiniBand против Ethernet имеет центральное значение для проектирования эффективных сетей HPC. С приобретением NVIDIA компании Mellanox, лидера в области высокопроизводительных межсоединений, эта конкуренция усилилась, стимулируя инновации и требуя сравнений на основе данных для корпоративных и исследовательских клиентов.

Исходная производительность является основным дифференциатором. InfiniBand, разработанный специально для сред центров обработки данных с низкой задержкой и высокой пропускной способностью, имеет значительное преимущество.

• Задержка: InfiniBand стабильно обеспечивает сквозную задержку менее 600 наносекунд, что критически важно для связи MPI (Message Passing Interface) в тесно связанных симуляциях. Ethernet, даже с RoCE (RDMA over Converged Ethernet), обычно работает в микросекундном диапазоне (>1,2 µs), создавая узкие места в параллельных рабочих нагрузках.
• Пропускная способность: Хотя обе технологии предлагают решения 200G и 400G, управление перегрузками и адаптивная маршрутизация InfiniBand обеспечивают более стабильное и эффективное использование полосы пропускания, максимизируя производительность приложений.

Для приложений, где время решения имеет первостепенное значение, таких как моделирование климата или секвенирование генома, этот разрыв в производительности напрямую переводится в ускорение исследований.

Помимо базовых показателей, архитектура InfiniBand представляет собой парадигмальные функции, с которыми Ethernet с трудом может сравниться.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Эта новаторская функция коммутаторов Mellanox InfiniBand выполняет арифметические операции (например, редукции MPI) внутри сетевой структуры, разгружая эту задачу с ЦП. Это может ускорить коллективные операции до 50%, что недоступно в стандартном Ethernet.
• Встроенное управление перегрузками: Встроенная адаптивная маршрутизация InfiniBand динамически управляет трафиком, чтобы избежать горячих точек. Ethernet полагается на дополнительные протоколы (например, DCQCN) для управления перегрузками, что может быть менее эффективным и требовать сложной настройки.

Доминирование Ethernet в центрах обработки данных общего назначения представляет собой убедительный аргумент, основанный на знакомстве и экосистеме.

• Повсеместность и набор навыков: Ethernet понятен всем, и огромный пул сетевых инженеров знаком с его управлением и устранением неполадок. Это может снизить эксплуатационные накладные расходы и затраты на обучение.
• Конвергенция: Единая структура Ethernet потенциально может передавать трафик хранилища, данных и управления, упрощая сетевую архитектуру. Однако эта конвергенция часто требует сложных политик QoS для защиты чувствительного к производительности сетей HPC.
• Стоимость: Исторически компоненты Ethernet имели более низкую цену. Однако разрыв значительно сузился с появлением высокоскоростного Ethernet, и общая стоимость владения (TCO) с учетом производительности на ватт и производительности на доллар часто отдает предпочтение InfiniBand для выделенных кластеров HPC.

Выбор между InfiniBand и Ethernet — это не вопрос того, что лучше для всех, а того, что оптимально для конкретной рабочей нагрузки. Для чистых, критически важных сетей HPC — где достижение самого быстрого времени решения для сложных вычислений является основной целью — InfiniBand, на базе технологии Mellanox, остается бесспорным лидером по производительности. Его расширенные возможности вычислений в сети и превосходная эффективность обеспечивают ощутимую рентабельность инвестиций для исследовательских и ИИ-ориентированных предприятий. И наоборот, для сред с смешанными рабочими нагрузками или кластеров, где экстремальная производительность менее важна, высокоскоростной Ethernet предлагает знакомую и способную альтернативу.