Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Roce i nvidia quantum infiniband a takzhe ih kolichestvennaya otsenka kompromiss
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

RoCE и NVIDIA Quantum InfiniBand, а также их количественная оценка компромиссов

Источник: Lambda•20 ноября 2026 г. в 14:53

RoCE и NVIDIA Quantum InfiniBand, а также их количественная оценка компромиссов

Арендуемые вами GPU — это лишь часть того, что определяет скорость и эффективность вашего кластера. Решающую роль здесь играет межкомпонентное соединение (interconnect) — сеть, связывающая между собой узлы (машины) на бэкенде.

Арендуемые вами GPU — это лишь часть того, что определяет скорость и эффективность вашего кластера. Решающую роль здесь играет межкомпонентное соединение (interconnect) — сеть, связывающая между собой узлы (машины) на бэкенде.

Исторически сетевая инфраструктура рассматривалась в первую очередь как статья расходов. Однако в концепции фабрик ИИ (AI factories) сеть превратилась в ускоритель бизнеса: более высокая загрузка GPU, низкая задержка, улучшенная синхронизация и предсказуемая производительность напрямую конвертируются в рост продуктивности и окупаемости инвестиций в ИИ.

Межкомпонентные соединения для связывания GPU обычно бывают двух типов:

  • RDMA over Converged Ethernet (RoCE), включая RoCEv1 и RoCEv2
  • NVIDIA Quantum InfiniBand

Вот краткий разбор того, как они работают и почему они важны:

RoCE работает на сетевом уровне, называемом «уровнем 2» (layer 2). Это означает, что он использует Ethernet и MAC-адреса для взаимодействия в рамках одной сети (широковещательного домена). Узлы могут обмениваться данными через несколько коммутаторов, но они должны оставаться внутри одной «базовой» сети.

RoCEv2 развивает эту идею за счет использования пакетов UDP/IP, что позволяет узлам взаимодействовать через различные подсети, здания или дата-центры. В результате задержка может возрастать, поскольку гарантии того, что эти узлы находятся в одной стойке или дата-центре, нет.

NVIDIA Quantum InfiniBand использует выделенную сетевую фабрику вместо Ethernet/IP и может проходить через несколько коммутаторов и локаций. Однако для получения максимально возможной производительности с минимальной задержкой требуется предварительное развертывание коммутаторов и фабрики с поддержкой InfiniBand. Это гарантируется при использовании Lambda 1-Click-Cluster.

Но что, если вы работаете не на них? Насколько сильно межкомпонентное соединение влияет на производительность?

В целом как InfiniBand, так и RoCE способны обеспечивать крайне низкую задержку, часто измеряемую всего несколькими микросекундами. InfiniBand обычно обеспечивает более низкую и предсказуемую задержку (как правило, около 0,5–2 мкс), тогда как RoCE на хорошо оптимизированной локальной фабрике может достигать примерно 1–3 мкс.

Однако RoCE более чувствителен к конфигурации сети, перегрузкам и общей топологии. В менее оптимальных условиях (таких как посторонний трафик на узле, неправильно настроенные коммутаторы и неоптимизированный трафик) задержка может быть в несколько раз выше, при перегрузках потенциально достигая десятков миллисекунд. Пока мы будем использовать эти диапазоны низкой задержки в качестве базового уровня, учитывая, что реальная производительность будет существенно варьироваться, в чем мы убедимся далее.

Теория на практике

Задержка в 1–3 мкс между сеансами связи кажется незначительной, но это показатель для одной передачи, который не учитывает размеры пакетов, выделение тензоров и тому подобное.

Чтобы увидеть, как эти различия проявляются на практике, мы провели эксперимент по инференсу:

  • 2 узла 1-Click-Cluster NVIDIA HGX™ B200, соединенные через коммутаторы NVIDIA Quantum InfiniBand и adapters
  • 2 узла HGX B200 из On-Demand, соединенные через RoCE.

Для обеспечения чистоты эксперимента мы развернули два инстанса HGX B200 On-Demand, получив два узла в одном облачном регионе, но не обязательно в одном дата-центре.

Вот основные детали проведения наших тестов:

  • Модель: nvidia/GLM-5.2-NVFP4, оптимизированный под NVIDIA Blackwell вариант модели GLM 5.2 от Z.ai
  • Фреймворк сервинга: SGLang
  • Параллелизм: TP16/DP16/EP16
  • Инструмент бенчмаркинга: AIPerf от NVIDIA
  • Нагрузка: 8 192 входных токенов и 1 024 выходных токенов на запрос
  • Конкурентность: 10–300 симулируемых параллельных запросов

Оба сервера использовали базовый набор флагов SGLang:

RoCE также использовал:

В то время как IB использовал:

Данные

Наши результаты показывают, что когда конкурентность достигает примерно 250 пользователей (насыщение оборудования), RoCE обеспечивает приблизительно на 70% меньшую пропускную способность по сравнению с NVIDIA Quantum InfiniBand, а время до получения первого токена оказывается в 2,5 раза медленнее. По мере уменьшения количества пользователей влияние различных сетевых фабрик становится более очевидным: при низкой конкурентности наблюдается наибольшая межтокеновая задержка и наименьшее число токенов в секунду в целом.

Вывод

Результаты показывают, что межкомпонентное соединение — это не второстепенная деталь. В масштабе оно напрямую определяет уровень загрузки GPU, время отклика и окупаемость ваших инвестиций в инфраструктуру.

При масштабируемом обслуживании передача данных может стать «узким местом». Каждое матричное умножение должно передаваться по сетевой фабрике между несколькими узлами, что приводит к огромным разрывам в скорости, если ваши узлы не оснащены высококлассным межкомпонентным соединением.

Нужно срочное решение? Разверните два узла Lambda On-Demand или Reserved Instance и соответствующим образом скорректируйте свои ожидания.

Ищете более эффективное решение? Кластеры Lambda 1-Click-Clusters, соединенные через выделенную фабрику NVIDIA Quantum InfiniBand, — это очевидный выбор для ваших задач сервинга.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Как мы обеспечиваем безопасность 100+ кластеров в 20+ облаках
Baseten

Как мы обеспечиваем безопасность 100+ кластеров в 20+ облаках

Улучшенные средства контроля для новой эры кибератак
Baseten

Улучшенные средства контроля для новой эры кибератак

Qwen3 TTS теперь доступна на Together AI
Together AI

Qwen3 TTS теперь доступна на Together AI

Представляем варианты видеорекламы и локализацию в Ads Engine
ElevenLabs

Представляем варианты видеорекламы и локализацию в Ads Engine

WRITER AI Studio теперь называется Control Center
Writer

WRITER AI Studio теперь называется Control Center

Представляем адаптеры харнасов: адаптируйте вашу любимую модель к вашему харнасу для повышения производительности и снижения затрат
Hugging Face

Представляем адаптеры харнасов: адаптируйте вашу любимую модель к вашему харнасу для повышения производительности и снижения затрат

Ещё от Lambda

Lambda анонсирует первое в мире крупномасштабное внедрение коммутаторов NVIDIA Photonics с технологией CPO
Lambda

Lambda анонсирует первое в мире крупномасштабное внедрение коммутаторов NVIDIA Photonics с технологией CPO

Lambda обеспечивает более быстрое обучение ИИ для языковых и графических моделей
Lambda

Lambda обеспечивает более быстрое обучение ИИ для языковых и графических моделей

TurboPairFormer: более быстрое, стабильное и точное дообучение OpenFold3
Lambda

TurboPairFormer: более быстрое, стабильное и точное дообучение OpenFold3

У Lambda новый адрес: lambda.com
Lambda

У Lambda новый адрес: lambda.com

Представляем управление доступом и учетными данными (IAM) для Lambda Cloud
Lambda

Представляем управление доступом и учетными данными (IAM) для Lambda Cloud

Run:ai с открытым исходным кодом теперь в Lambda Kubernetes Service
Lambda

Run:ai с открытым исходным кодом теперь в Lambda Kubernetes Service