Mellanox (NVIDIA Mellanox) MCX556A-ECAT Серверное техническое решение NIC

Эта белая книга предоставляет сетевым архитекторам, инженерам предпродажного обслуживания и руководителям операций всеобъемлющую техническую основу для развертыванияMellanox (NVIDIA Mellanox) MCX556A-ECATрешение сосредоточено на устранении узких мест TCP/IP через RDMA/RoCE,предоставление детерминированной связи с низкой задержкой при максимальной пропускной способности сервера для интенсивных нагрузок данных.

1. Анализ контекста и требований проекта

Современные среды центров обработки данных, включая кластеры обучения ИИ, распределенные базы данных, гиперконвергентную инфраструктуру и высокочастотные торговые платформы, имеют общее ограничение:традиционный сетевой стек потребляет 30~50% циклов процессора на копии памятиПоскольку скорость связи достигает 100 Гбит/с и выше, сети, основанные на программном обеспечении, становятся неустойчивыми.Ключевые требования для подключения серверов следующего поколения включают:: задержка между узлами менее 5 микросекунд, нагрузка на ЦП менее 10% на 100 Гбит/с ссылку, беспотерийный транспорт для протоколов хранения (NVMe-oF) и плавная интеграция с существующей инфраструктурой Ethernet.ВMCX556A-ECAT Ethernet adapter card solutionпрямо отвечает этим требованиям.

2. Общий дизайн сетевой/системной архитектуры

Рекомендуемая архитектура используетNVIDIA Mellanox MCX556A-ECATРешение использует двухуровневую топологию с поддержкой RoCE (RDMA over Converged Ethernet). Ключевые архитектурные решения включают:

• Беспотери Ethernet: Включить контроль приоритета потока (PFC) на портах, перевозящих трафик RoCE, и настроить пороги ECN (Explicit Congestion Notification) на переключателях листов.
• Отдельные классы движения: Назначить трафик RoCE в выделенную очередь приоритетов (обычно 3 или 5) с строгим расписанием приоритетов.
• Управление буфером: Распределить общие буферные пулы на коммутаторах в соответствии сMCX556A-ECAT спецификации(рекомендуется 4 МБ на порт для беспотери работы).

КаждыйMCX556A-ECAT ConnectX адаптер PCIe сетевая картаподключается к коммутатору листов через QSFP28 оптику (SR4, LR4 или AOC/DAC в зависимости от расстояния).конфигурации с двойным расположением связывают обе порты активный-активный для пропускной способности или активный-стоянный режим для перехода на отказКонтрольная плоскость использует стандартные Ethernet и IP, в то время как данная плоскость использует RDMA для нулевой копии передач.

3. Роль и ключевые особенности Mellanox (NVIDIA Mellanox) MCX556A-ECAT в решении

ВMCX556A-ECATОн служит критическим двигателем отгрузки между памятью сервера и сетевой структурой. Его аппаратный транспорт исключает участие ядра для перемещения данных.MCX556A-ECAT datasheetвключают:

ВMCX556A-ECAT Ethernet адаптерная картатакже включает в себя расширенное управление (классификация потока в 128 виртуальных очередей), SR-IOV с до 512 виртуальными функциями и аппаратный таймер для протокола точности времени (PTP).Эти особенности делают его полным двигателем ускорения траектории данных, а не просто высокоскоростной интерфейс.

4. Рекомендации по развертыванию и масштабированию (типичная топология)

Для кластера среднего размера (64 ‰ 256 узлов) рекомендуется следующая топология:

• Листья: два или четыре 48-порта 100GbE RoCE коммутатора (например, NVIDIA SN3700).MCX556A-ECAT совместимаПорты QSFP28.
• Спинный слой: четыре 32-портных 400GbE-свича, обеспечивающих 128 неблокирующих 100GbE-подключений от листьев.
• Конфигурация сервераОдин.MCX556A-ECATна сервер, порт А на переключатель листа A, порт В на переключатель листа B. Это дает 200 Гбит/с совокупной пропускной способности и избыточность пути.

Для масштабирования ткани за пределы 256 узлов требуется добавить пары листья-позвоночника или перейти на трехступенчатую архитектуру Clos.MCX556A-ECAT ценапротив будущей емкости, фактор в том, что адаптерMCX556A-ECAT совместимас материнскими платами PCIe 4.0 (изначально работающими на 3,0 x16), предлагающими простой путь обновления.

5. Операции, мониторинг, устранение неполадок и оптимизация

Оперативное совершенство для развертывания RoCE требует специального мониторинга и настройки.

• Контрольные приборы: Использование-Это инструмент. -Это инструмент.Для отслеживания приоритетных пауз и CNP (пакетов уведомлений о перегрузке).MCX556A-ECAT спецификацииДокумент ожидаемых исходных значений.
• Настройка буфераНедостаточный буфер вызывает PFC-штормы и крах пропускной способности.
• Управление прошивкой: Поддерживать последнюю прошивку (доступна на портале корпоративной поддержки NVIDIA) для устранения ошибок и повышения производительности, задокументированных вMCX556A-ECAT datasheet.
• Базовый показатель эффективностиБеги.ib_write_bwиib_read_latОжидаемые результаты: 98 ‰ 99 Gbps двунаправленный с задержкой 0,8 ‰ 1,2 μs для 8-байтовых сообщений.

Общие сценарии устранения неполадок: тупики PFC (проверка на наличие неправильной конфигурации настройки очереди), срыв соединения (проверка мощности и кабеля),и RDMA временные задержки соединения (обеспечить последовательность MTU на 4200 байтов для джамбо-фрейм)Для поисковых командMCX556A-ECAT на продажудля расширения кластеров предварительное выравнивание прошивки между партиями позволяет избежать сюрпризов совместимости.

6. Резюме и оценка стоимости

ВMCX556A-ECATЭто означает, что в настоящее время существуют несколько различных методов, с помощью которых мы можемNVIDIA Mellanox MCX556A-ECATуменьшает задержку приложений в 10 раз по сравнению с TCP, сокращает сетевые расходы CPU на 85% и разблокирует дезагрегацию хранилища через NVMe-oF.Двухпортовая емкость карты 100 ГбЭ обеспечивает будущее пространство; для операционных команд, зрелый стек драйверов (upstream Linux, Windows и VMware) упрощает управление.MCX556A-ECAT ценаВ зависимости от общей стоимости собственности, включая лицензирование программного обеспечения, питание и охлаждение, адаптер обычно оплачивается через 6-12 месяцев через консолидацию серверов.MCX556A-ECAT Ethernet адаптерная картаилиMCX556A-ECAT ConnectX адаптер PCIe сетевая карта, это решение остается эталонным проектом для беспотери, высокопроизводительной сети Ethernet.