NVIDIA Mellanox MCX4121A-ACAT Server Adapter в действии.

Поскольку распределенное хранилище, кластеры HPC и конвейеры обучения искусственного интеллекта быстро масштабируются, традиционный стек TCP/IP становится узким местом для внутренних коммуникаций центров обработки данных. Высокая нагрузка на процессор и задержка на уровне микросекунд снижают производительность приложений. Для архитекторов и ИТ-менеджеров, ищущих практичный путь обновления,MCX4121A-ACATРешение на основе RDMA/RoCE показало проверенные результаты в реальных условиях эксплуатации.

Предыстория и проблема: разрыв в производительности от 10GbE до 25GbE

В недавнем проекте модернизации центра обработки данных у поставщика облачных услуг среднего размера существующая сеть хранения данных 10GbE на базе TCP/IP выявила две критические проблемы. Во-первых, резервное копирование базы данных и трафик NVMe over Fabrics страдали от задержки стека TCP, превышающей 50 микросекунд, что напрямую влияло на время ответа транзакций. Во-вторых, ядра ЦП были перегружены: почти 30% вычислительной мощности потреблялось сетевыми прерываниями и операциями копирования данных, в результате чего для бизнес-приложений оставалось недостаточно ресурсов. Команде требовалось решение, которое могло бы обеспечить пропускную способность 25GbE и обеспечить обход ядра с удаленным прямым доступом к памяти.

Решение: развертывание NVIDIA Mellanox MCX4121A-ACAT с RoCE

После тщательной оценки заказчик выбралNVIDIA Mellanox MCX4121A-ACATсерверный адаптер в качестве основного компонента обновления. Этот двухпортовый адаптер SFP28, построенный на архитектуре ConnectX-4 Lx, обеспечивает скорость линии 25GbE на каждый порт и изначально интегрирует аппаратные механизмы разгрузки RoCE (RDMA over Converged Ethernet). Инженеры установилиКарта адаптера Ethernet MCX4121A-ACATв стандартные серверные слоты PCIe 3.0 x8 x86 в сочетании с коммутаторами 25GbE с поддержкой PFC/ECN для создания структуры Ethernet без потерь.

Что касается программного обеспечения, команда включила режим RoCE v2 с помощью драйвера Mellanox OFED и закрепила критически важные рабочие нагрузки хранилища (экранное меню Ceph и шлюзы NVMe-oF) на интерфейсах RDMA. Примечательно, чтоMCX4121A-ACAT ConnectX-4 Lx, двухпортовый 25GbE SFP28Адаптер без проблем работал с существующей оптикой SFP28 и кабелями ЦАП, исключая затраты на перемонтаж. Подробные тепловые и энергетические характеристики см.Техническое описание MCX4121A-ACATпредоставляет полные инженерные рекомендации.

Результаты и преимущества: задержка в 5 раз ниже, пропускная способность в 1,7 раза выше.

После двух недель проверки серой версии команда проекта зафиксировала значительные улучшения. По сравнению с устаревшей базовой версией TCP/IP средняя задержка межузловой блочной передачи снизилась с 52 мкс до всего 9 мкс — сокращение более чем на 80%. Что касается пропускной способности сервера,Технические характеристики MCX4121A-ACATОбещанная производительность двухпортового сервера с линейной скоростью была полностью подтверждена: один узел, обрабатывающий одновременный трафик iSCSI и NVMe-oF, достиг совокупной пропускной способности 46,8 Гбит/с, приближаясь к теоретическому максимуму. Что еще более важно, благодаря RDMA, обеспечивающему прямой доступ к памяти, загрузка ЦП для сетевой обработки упала с 32% до 6%. Освободившиеся циклы ЦП были перенаправлены на рабочие нагрузки приложений, что привело к увеличению общей производительности приложений в 1,7 раза.

Операционные группы также обнаружили, что возможности виртуализации SR-IOV адаптера превосходны в крупномасштабных контейнерных средах. На основеСовместимость с MCX4121A-ACATПо результатам проверки адаптер безупречно работает с основными дистрибутивами Linux, плагинами VMware ESXi и Kubernetes Multus-CNI. Заказчик теперь стандартизировалРешение для карты адаптера Ethernet MCX4121A-ACATв качестве базового компонента для спецификации гиперконвергентной инфраструктуры следующего поколения.

Справочная информация о стоимости и закупках

Для команд с ограниченным бюджетомЦена MCX4121A-ACATстановится высококонкурентным по объему. Текущие списки каналов показываютMCX4121A-ACAT на продажупо цене примерно 460–520 долларов США за единицу (в зависимости от наличия полноразмерного кронштейна), что означает экономию совокупной стоимости владения более чем на 40 % по сравнению с эквивалентными адаптерами Fibre Channel HBA или решениями InfiniBand. Точные котировки можно получить у авторизованных дистрибьюторов NVIDIA.

Резюме и перспективы: от ускорения хранения данных к полному охвату центров обработки данных

Данное тематическое исследование показывает, чтоMCX4121A-ACATРешение на основе RDMA/RoCE обеспечивает характеристики задержки, близкие к Infiniband, не выходя за пределы экосистемы Ethernet, при этом значительно повышая эффективность пропускной способности сервера. В перспективе поставщик услуг планирует развернутьNVIDIA Mellanox MCX4121A-ACATчерез распределенные базы данных SQL и конвейеры извлечения функций искусственного интеллекта в реальном времени, что еще больше раскрывает потенциал фабрик 25GbE. Для сетевых инженеров и архитекторов, планирующих модернизацию центров обработки данных, этот адаптер предлагает практичное сочетание производительности, совместимости и масштабируемости.