Арендуемые вами GPU — это лишь часть того, что определяет скорость и эффективность вашего кластера. Решающую роль здесь играет межкомпонентное соединение (interconnect) — сеть, связывающая между собой узлы (машины) на бэкенде.
Исторически сетевая инфраструктура рассматривалась в первую очередь как статья расходов. Однако в концепции фабрик ИИ (AI factories) сеть превратилась в ускоритель бизнеса: более высокая загрузка GPU, низкая задержка, улучшенная синхронизация и предсказуемая производительность напрямую конвертируются в рост продуктивности и окупаемости инвестиций в ИИ.
Межкомпонентные соединения для связывания GPU обычно бывают двух типов:
- RDMA over Converged Ethernet (RoCE), включая RoCEv1 и RoCEv2
- NVIDIA Quantum InfiniBand
Вот краткий разбор того, как они работают и почему они важны:
RoCE работает на сетевом уровне, называемом «уровнем 2» (layer 2). Это означает, что он использует Ethernet и MAC-адреса для взаимодействия в рамках одной сети (широковещательного домена). Узлы могут обмениваться данными через несколько коммутаторов, но они должны оставаться внутри одной «базовой» сети.
RoCEv2 развивает эту идею за счет использования пакетов UDP/IP, что позволяет узлам взаимодействовать через различные подсети, здания или дата-центры. В результате задержка может возрастать, поскольку гарантии того, что эти узлы находятся в одной стойке или дата-центре, нет.
NVIDIA Quantum InfiniBand использует выделенную сетевую фабрику вместо Ethernet/IP и может проходить через несколько коммутаторов и локаций. Однако для получения максимально возможной производительности с минимальной задержкой требуется предварительное развертывание коммутаторов и фабрики с поддержкой InfiniBand. Это гарантируется при использовании Lambda 1-Click-Cluster.
Но что, если вы работаете не на них? Насколько сильно межкомпонентное соединение влияет на производительность?
В целом как InfiniBand, так и RoCE способны обеспечивать крайне низкую задержку, часто измеряемую всего несколькими микросекундами. InfiniBand обычно обеспечивает более низкую и предсказуемую задержку (как правило, около 0,5–2 мкс), тогда как RoCE на хорошо оптимизированной локальной фабрике может достигать примерно 1–3 мкс.
Однако RoCE более чувствителен к конфигурации сети, перегрузкам и общей топологии. В менее оптимальных условиях (таких как посторонний трафик на узле, неправильно настроенные коммутаторы и неоптимизированный трафик) задержка может быть в несколько раз выше, при перегрузках потенциально достигая десятков миллисекунд. Пока мы будем использовать эти диапазоны низкой задержки в качестве базового уровня, учитывая, что реальная производительность будет существенно варьироваться, в чем мы убедимся далее.
Теория на практике
Задержка в 1–3 мкс между сеансами связи кажется незначительной, но это показатель для одной передачи, который не учитывает размеры пакетов, выделение тензоров и тому подобное.
Чтобы увидеть, как эти различия проявляются на практике, мы провели эксперимент по инференсу:
- 2 узла 1-Click-Cluster NVIDIA HGX™ B200, соединенные через коммутаторы NVIDIA Quantum InfiniBand и adapters
- 2 узла HGX B200 из On-Demand, соединенные через RoCE.
Для обеспечения чистоты эксперимента мы развернули два инстанса HGX B200 On-Demand, получив два узла в одном облачном регионе, но не обязательно в одном дата-центре.
Вот основные детали проведения наших тестов:
- Модель: nvidia/GLM-5.2-NVFP4, оптимизированный под NVIDIA Blackwell вариант модели GLM 5.2 от Z.ai
- Фреймворк сервинга: SGLang
- Параллелизм: TP16/DP16/EP16
- Инструмент бенчмаркинга: AIPerf от NVIDIA
- Нагрузка: 8 192 входных токенов и 1 024 выходных токенов на запрос
- Конкурентность: 10–300 симулируемых параллельных запросов
Оба сервера использовали базовый набор флагов SGLang:
RoCE также использовал:
В то время как IB использовал:
Данные
Наши результаты показывают, что когда конкурентность достигает примерно 250 пользователей (насыщение оборудования), RoCE обеспечивает приблизительно на 70% меньшую пропускную способность по сравнению с NVIDIA Quantum InfiniBand, а время до получения первого токена оказывается в 2,5 раза медленнее. По мере уменьшения количества пользователей влияние различных сетевых фабрик становится более очевидным: при низкой конкурентности наблюдается наибольшая межтокеновая задержка и наименьшее число токенов в секунду в целом.
Вывод
Результаты показывают, что межкомпонентное соединение — это не второстепенная деталь. В масштабе оно напрямую определяет уровень загрузки GPU, время отклика и окупаемость ваших инвестиций в инфраструктуру.
При масштабируемом обслуживании передача данных может стать «узким местом». Каждое матричное умножение должно передаваться по сетевой фабрике между несколькими узлами, что приводит к огромным разрывам в скорости, если ваши узлы не оснащены высококлассным межкомпонентным соединением.
Нужно срочное решение? Разверните два узла Lambda On-Demand или Reserved Instance и соответствующим образом скорректируйте свои ожидания.
Ищете более эффективное решение? Кластеры Lambda 1-Click-Clusters, соединенные через выделенную фабрику NVIDIA Quantum InfiniBand, — это очевидный выбор для ваших задач сервинга.












