Проект технического решения: Mellanox (NVIDIA) MCX631102AN-ADAT Server Adapter для передачи с низкой задержкой RDMA/RoCE

Современные архитектуры центров обработки данных находятся под постоянным давлением, чтобы обеспечить более высокую производительность при сохранении операционной эффективности. The exponential growth in data-intensive workloads—from real-time analytics and AI training to distributed storage and financial trading—has exposed the limitations of traditional network infrastructuresОсновное узкое место находится в обычном TCP/IP сетевом стеке, который потребляет значительные ресурсы CPU, вводит непредсказуемую задержку и ограничивает общую пропускную способность системы.

Архитекторы предприятий сталкиваются с критической проблемой: как масштабировать производительность сети без пропорционального увеличения затрат и сложности.Решение требует фундаментального перехода от ЦПУ-централизованной сети к аппаратно-ускореннойЭта техническая белая книга представляет всеобъемлющее решение, построенное вокруг Mellanox (NVIDIA) MCX631102AN-ADAT,решение основных требований к передаче с низкой задержкой и увеличению пропускной способности серверов с помощью технологии RDMA/RoCE.

Предлагаемая архитектура использует топологию листья-позвоночника, оптимизированную для подключения 25GbE с поддержкой RDMA / RoCE.В основе этого дизайна лежит принцип устранения сетевых затрат на ЦП при сохранении бесперебойной интеграции с существующими инвестициями в инфраструктуру.

• Листный слойКоммутаторы верхней части стойки, сконфигурированные с PFC (Priority Flow Control) и ECN (Explicit Congestion Notification) для поддержки трафика RoCE v2 без потерь
• Спина:Высокопроизводительные коммутаторы, обеспечивающие бесблокирующую связь между любыми и любыми соединениями 100GbE
• Серверный уровень:Вычислительные и хранилищные узлы, оборудованные адаптерами NVIDIA Mellanox MCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28
• Сеть хранения:Выделенная ткань с поддержкой RoCE для доступа NVMe-oF к массивам хранения всех флэш-устройств

Архитектура поддерживает несколько областей рабочей нагрузки, включая виртуализацию, обнаженные металлические и контейнеризированные среды, с помощью интеллектуальной сегментации трафика и политики QoS.Каждый сервер использует возможности двойного порта MCX631102AN-ADAT для балансировки активной и активной нагрузки или конфигурации активной и пассивной высокой доступности.

Карта адаптера MCX631102AN-ADAT Ethernet служит критическим интерфейсом между ресурсами сервера и сетевой структурой.предоставляет несколько трансформационных возможностей:

• Исключение:Адаптер реализует полную разгрузку RoCE v2 в аппаратном обеспечении, позволяя прямые передачи данных из памяти в память без участия ЦП.Это снижает задержку до однозначных микросекунд, освобождая ядра процессора для обработки приложений.
• Интеллектуальная оптимизация PCIe:С интерфейсом хоста PCIe 3.0/4.0 x8, спецификации MCX631102AN-ADAT показывают поддержку двунаправленной пропускной способности до 50 Гбит/с, устраняя узкие места PCIe в высокопроизводительных серверах.
• Поддержка расширенной виртуализацииАдаптер обеспечивает аппаратное SR-IOV с до 512 виртуальными функциями, обеспечивая предсказуемую производительность для среды с несколькими пользователями.
• Ускорение хранения:Природная поддержка NVMe-oF и iSER обеспечивает эффективные модели доступа к хранилищу, необходимые для современной гиперконвергентной инфраструктуры.

Конфигурация SFP28 с двумя портами 25GbE предлагает гибкость развертывания. Порты могут быть сконфигурированы для отдельных сетей (например, один для хранения,один для вычисления) или агрегированный для увеличения пропускной способности и избыточности.

Успешное развертывание решения MCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28 требует тщательного планирования на уровне сети, сервера и приложения.Рекомендуется последовательный подход::

Для развертывания на нескольких сайтах следует рассмотреть возможность реализации RoCE в сетях L3 с использованием таких расширенных функций, как QoS на основе DSCP и распространение уведомлений о перегрузке.Решение карты адаптера MCX631102AN-ADAT Ethernet включает в себя комплексную поддержку этих возможностей.

Поддержание оптимальной производительности требует прозрачности в моделях трафика RDMA / RoCE и состоянии адаптера.

• Мониторинг эффективности:Используйте Mellanox Tools (mlxtool, ethtool) и стандартные утилиты Linux NVIDIA для мониторинга статистики портов, счетчиков RDMA и ошибок PCIe.,и пакеты с маркировкой ECN.
• Управление прошивкой и драйверами:Регулярные обновления обеспечивают доступ к последним функциям и исправлениям ошибок.
• Управление перегрузкой:Внедрить динамическую настройку порога для буферов PFC на основе шаблонов рабочей нагрузки. Для чувствительных к задержке приложений настроить отдельные группы приоритетов для трафика RDMA и традиционного TCP.
• Фреймворк для устранения неполадок:Разработать систематический подход к общим вопросам:
  • Вопросы связи: проверка модулей SFP28, качество кабеля и скорость переговоров
  • Соединение RoCE: проверка симметрии конфигурации PFC на всех переключателях
  • Ухудшение производительности: проверка на исчерпание буфера или инкастную перегрузку

Всеобъемлющие спецификации MCX631102AN-ADAT включают обширные диагностические возможности с помощью аппаратных счетчиков и регистров отладки, доступных через стандартные интерфейсы управления.

Серверный адаптер Mellanox (NVIDIA) MCX631102AN-ADAT представляет собой фундаментальный строительный блок для архитектуры дата-центров следующего поколения.Благодаря возможности связи на базе RDMA/RoCE с плотностью 25GbE, это решение обеспечивает:

• 80-90% сокращение сетевых затрат на процессоры, что позволяет консолидировать серверы и снизить расходы на лицензирование
• Задержка менее 10 микросекунддля межсерверной связи, позволяющей создавать новые классы распределенных приложений
• Линейное масштабирование пропускной способностис размерами кластеров, устраняя традиционные узкие места в сети
• Инвестиции на будущеес совместимостью между несколькими поколениями серверной и хранилищной инфраструктуры

Организации, рассматривающие возможность развертывания, могут получить подробную информацию о цене MCX631102AN-ADAT и технические консультации от уполномоченных партнеров NVIDIA Mellanox.Доказанная архитектура решения и широкая поддержка экосистемы делают его предпочтительным выбором для предприятий, переходящих на модели вычислений, ориентированные на данные.