NVIDIA Mellanox MCX631102AN-ADAT Серверный адаптер Техническое решение: RDMA/RoCE Low-Latency Transport и сервер

NVIDIA Mellanox MCX631102AN-ADAT Серверный адаптер Техническое решение: Архитектура повышения пропускной способности сервера и транспорт с низкой задержкой RDMA/RoCE

1. Анализ контекста и потребностей проекта

Современные центры обработки данных переживают фундаментальный переход от архитектуры, ориентированной на вычисления, к архитектуре, ориентированной на данные.и распределенные базы данных становятся повсеместнымиТрадиционные сети на основе TCP/IP накладывают значительные нагрузки на процессор для обработки протоколов.вводит непредсказуемое колебание задержки, и не в полной мере использовать потенциал полосы пропускания современных СМИ.

Ключевые требования, выявленные в корпоративных и облачных средах, включают:

• Задержка до миллисекунды:Критически важные приложения, такие как финансовые торговые платформы и аналитика в режиме реального времени, требуют постоянной связи с низкой задержкой.
• Выгрузка процессора:Обработка сетевого протокола должна потреблять менее 10% ресурсов процессора на узел, чтобы сохранить вычислительную мощность для рабочей нагрузки приложения.
• Масштабируемость пропускной способности:Инфраструктура должна поддерживать 25GbE на порт с четким маршрутом обновления для будущих развертываний 50/100GbE.
• Бесшовная интеграция:Решение должно быть совместимо с существующими серверными платформами, операционными системами и инструментами управления.

ВNVIDIA Mellanox MCX631102AN-ADATнапрямую отвечает этим требованиям с помощью архитектуры ConnectX-6 Lx,предоставление аппаратно-ускоренной RDMA через конвергентный Ethernet (RoCE) с нулевой копией передачи данных и возможностями обхода ядра.

2. Общий дизайн сетевой/системной архитектуры

Предлагаемая архитектура использует топологию листья-позвоночника, оптимизированную для транспортировки RoCE.MCX631102AN-ADAT Ethernet решение для карты адаптера, развернутый в каждом узле сервера для обеспечения двойного порта 25GbE подключения.

Архитектурные слои:

• Узоры вычисления/хранения:Каждый сервер оснащен одним или несколькимиMCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28адаптеры, сконфигурированные с обеими портами для высокой доступности и балансировки нагрузки.
• Листный слойКоммутаторы NVIDIA Spectrum-3 обеспечивают низкую задержку, беспроцентную передачу Ethernet с RoCE-контролем перегрузки (PFC / ECN).
• Спина:Высокопроизводительные спинные коммутаторы соединяют узлы листьев с 100GbE подъемными ссылками, обеспечивая неблокирующую производительность по всей ткани.
• План управления:Сеть управления вне полосы для сбора телеметрии, конфигурации и мониторинга состояния через NVIDIA DOCA и MLNX-OS.

Конструкция включает в себя микросегментацию и изоляцию трафика с использованием аппаратно-ориентированной vSwitch-отгрузки, обеспечивая, чтобы трафик арендаторов оставался изолированным без ущерба для производительности.

3. Роль и ключевые особенности NVIDIA Mellanox MCX631102AN-ADAT в решении

Как основной сетевой интерфейс для каждого сервера,NVIDIA Mellanox MCX631102AN-ADATиграет ключевую роль в достижении целей производительности и эффективности общей архитектуры.

СогласноФайл данных MCX631102AN-ADAT, адаптер также поддерживает встроенное шифрование IPsec и MACsec, обеспечивая безопасность передачи данных без ущерба для пропускной способности.Спецификации MCX631102AN-ADATподтвердить поддержку передовой телеметрии, включая счетчики потока, гистограммы задержки и обнаружение перегруженности, которые имеют решающее значение для проактивного управления сетью.

4. Рекомендации по развертыванию и масштабированию (с типичной топологией)

Для организаций, планирующих производствоNVIDIA Mellanox MCX631102AN-ADAT, рекомендуется следующий поэтапный подход:

Фаза 1 Начните с небольшого кластера для проверки конфигурации RoCE, настройки параметров PFC/ECN и сравнения производительности приложения.Карта адаптера Ethernet MCX631102AN-ADATдолжны быть установлены с последними драйверами и прошивкой Mellanox OFED для обеспечения оптимальной совместимости.

Фаза 2 - расширение корпуса (20-50 узлов):Масштабируйте до полного рака или капсулы, развернув пару листьев переключателей с беспотерийной конфигурацией Ethernet.Включить аппаратное управление перегрузкой и настроить параметры DCB (Data Center Bridging) в соответствии с рекомендуемыми лучшими практиками.

Фаза 3 Использовать аппаратное управление адаптера и использоватьСовместимость MCX631102AN-ADATNVIDIA Unified Fabric Manager для оркестрации и автоматизированного обеспечения.

Описание типичной топологии:Стандартная конфигурация стойки состоит из 20 серверов вычисления/хранения, каждый из которых оснащен однимMCX631102AN-ADAT ConnectX-6 Lx с двумя портами 25GbE SFP28. Порт 1 соединяется с Leaf Switch A, порт 2 соединяется с Leaf Switch B, обеспечивая избыточные пути.Эта топология гарантирует, что любое одно неисправное соединение или переключатель не влияет на доступность приложения.

5Операции, мониторинг, устранение неполадок и оптимизация

Эффективная работа сети на основе RoCE требует специализированных методов мониторинга и устранения неполадок.MCX631102AN-ADATпредоставляет встроенные приборы для поддержки этих видов деятельности:

• Коллекция телеметрии:Используйте аппаратные счетчики адаптера для мониторинга пропускной способности по потоку, глубины очереди, пакетов и распределения задержки.Эти данные поступают в централизованные контрольные панели для просмотра в режиме реального времени.
• Выявление заторы:Мониторинг паузных кадров PFC и пакетов с ECN для идентификации микро-всплесков и точек трафика.Файл данных MCX631102AN-ADATдает рекомендации по интерпретации этих счетчиков.
• Управление прошивкой и драйверами:Регулярное обновление стека драйверов NVIDIA OFED и прошивки адаптера имеет важное значение для производительности и безопасности.
• Настройка производительности:Ключевые параметры настройки включают регулирование порога буфера PFC, установку соответствующих пределов маркировки ECN и настройку настроек модуляции прерывания адаптера для сбалансирования задержки и пропускной способности.
• Обычное устранение неполадок:Большинство проблем с производительностью могут быть связаны с неправильной конфигурацией настроек DCB, несовместимыми значениями MTU или несовместимыми версиями драйверов.и mlxconfig) обеспечивают всестороннюю прозрачность в операционном состоянии.

Для организаций, оценивающих общую стоимость владения,MCX631102AN-ADAT ценаМногие предприятия обнаруживают, чтоMCX631102AN-ADAT для продажиНюансы с коммутаторами NVIDIA Spectrum предлагают наиболее экономически эффективное решение для развертывания в новых условиях.

6. Резюме и оценка стоимости

ВNVIDIA Mellanox MCX631102AN-ADATпредставляет собой стратегическую инфраструктурную инвестицию, которая обеспечивает измеримую бизнес-ценность в трех измерениях:

Как от конца к концуMCX631102AN-ADAT Ethernet решение для карты адаптераЭто позволяет организациям создавать беспроигрышные высокопроизводительные сети, которые полностью реализуют потенциал современных приложений.среды поставщиков облачных услуг, или исследовательских HPC кластеров,MCX631102AN-ADATпостоянно обеспечивает низкую задержку, высокую пропускную способность и операционную простоту, которые требуют архитекторы инфраструктуры.