NVIDIA Mellanox MCX631432AN-ADAB Серверный адаптер в действии

NVIDIA Mellanox MCX631432AN-ADAB Серверный адаптер в действии

Оригиналы и вызов: узкое ушко задержки в распределенном хранилище

Инфраструктурная команда крупной интернет-компании недавно столкнулась с знакомой проблемой: их распределенный кластер хранения, построенный на Ceph-бакенде,пытался идти в ногу с растущими требованиями к приложениюВ то время как узлы хранения были оснащены мощными процессорами и быстрыми накопителями NVMe, задержка сети стала основным узким горлом, особенно во время пиковых операций ввода/вывода.Существующие адаптеры 10GbE не имели возможности отгрузки оборудования, вызывая чрезмерное вмешательство процессора для каждого обработанного пакета.

Эти накладные расходы были наиболее выражены в рабочей нагрузке с интенсивной записью, где каждая операция ввода/вывода требовала нескольких сетевых поездок туда-обратно.Команда нуждалась в решении, которое могло бы резко уменьшить задержку задержки при одновременном увеличении общей пропускной способности сервера.После оценки нескольких вариантов они обратились кNVIDIA Mellanox MCX631432AN-ADAB двухпортовый адаптер 25GbE SFP28, специально разработанный для развертывания RDMA через конвергентную сеть Ethernet (RoCE).

Решение и развертывание: развертывание RoCE с ConnectX-6 Lx

Развертывание было нацелено на три узла хранения, служащих серверами метаданных в кластере Ceph, где чувствительность к задержке наиболее высока.MCX631432AN-ADAB ConnectX-6 Lx с двумя портами 25GbE SFP28команда сконфигурировала оба порта в режиме активного-активного соединения,совокупная пропускная способность до 50 Гбит/с при обеспечении избыточности отказоустройства.

Критическим аспектом внедрения было обеспечение RoCEv2 с приоритетом управления потоком (PFC) и явное уведомление о перегрузке (ECN), чтобы обеспечить беспроигрышное поведение сети.Карта адаптера Ethernet MCX631432AN-ADABподдерживает эти передовые механизмы управления перегрузкой, исключая необходимость в собственных переключателях или дополнительных лицензиях.Команда также использовала встроенные в адаптер аппаратные временные метки и счетчики телеметрии для мониторинга состояния ткани в режиме реального времени во время первоначальной фазы сжигания.

СогласноФайл данных MCX631432AN-ADAB, адаптер поддерживает PCIe Gen 4.0 x8, что оказалось необходимым для полного насыщения двойных портов 25GbE без узкого горла на хост-автобусе.сделать обновление простымДля окружающей среды еще на PCIe Gen 3.0, адаптер остается полностьюСовместимость MCX631432AN-ADABс обратной совместимостью flexibility, которая упростила план поэтапного внедрения.

Процесс развертывания был заметно упрощен. С помощью стека драйверов сетевой сети NVIDIA адаптеры были сразу же распознаны в среде CentOS 8.Спецификации MCX631432AN-ADABчтобы отрегулировать распределение буфера и прервать настройки слияния, адаптируя поведение адаптера к их конкретным шаблонам нагрузки.

Результаты и измеримые выгоды

В таблице ниже сопоставлены ключевые показатели до и после внедренияNVIDIA Mellanox MCX631432AN-ADAB:

Помимо цифр, команда наблюдала улучшенную последовательность в времени ответа на вводы/выводы, устраняя эффект "шумного соседа", который ранее влиял на приложения арендаторов, использующие резервный конец хранилища.Сбросы оборудования, предоставляемыеMCX631432AN-ADAB Ethernet решения для адаптерных картснизила нагрузку на ЦП настолько значительно, что узлы могли обрабатывать примерно на 60% больше IOPS до достижения насыщения ЦП, эффективно задерживая запланированный цикл обновления оборудования.

Для команды сетевых операций встроенная телеметрия адаптера и возможность доступа к счетчикам производительности в режиме реального времени черезСпецификации MCX631432AN-ADABКоманда смогла выявить проблемы с микро-всплесками и глубиной очереди до того, как они повлияли на производственную нагрузку.

Резюме и перспективы: основа для будущего масштаба

Это развертывание подтвердило, чтоNVIDIA Mellanox MCX631432AN-ADABЭто не просто постепенное обновление, а трансформационный компонент для чувствительных к задержке распределенных систем.адаптер обеспечил существенное сокращение как средней, так и задержки, одновременно увеличивая общую пропускную способность сервера почти в 6 разОсвобожденные циклы процессора теперь перераспределяются на обработку на уровне приложения, что еще больше повышает общую эффективность кластера.

Глядя в будущее, команда изучает дополнительные варианты использования адаптеров,включая NVMe over Fabrics (NVMe-oF) для высокопроизводительного блочного хранилища и потенциально GPUDirect для учебных нагрузок ИИГибкость архитектуры ConnectX-6 Lx гарантирует, чтоMCX631432AN-ADABДля организаций, оценивающих аналогичный путь модернизации,MCX631432AN-ADAB цена, если сравнить с экономией операций и повышением производительности, представляет собой убедительный бизнес-пакет.

Опыт команды подчеркивает более широкую тенденцию: поскольку центры обработки данных все чаще используют 25GbE и более высокие ткани, выбор адаптера сервера становится критическим архитектурным решением.Карта адаптера Ethernet MCX631432AN-ADABпредлагает проверенное, готовое к производству решение для тех, кто хочет преодолеть разрыв между существующей инфраструктурой и требованиями к производительности следующего поколения.