Для сервис-провайдеров ИИ создает знакомый стратегический вопрос. Будет ли сеть переносить чужую ценность или она станет платформой, на которой эта ценность создается? Инференс дает сервис-провайдерам отличную возможность выбрать второй путь. У них уже есть активы, необходимые экономике ИИ: распределенные мощности, электроэнергия, надежная инфраструктура и охват в регионах, где работают предприятия и государственные структуры.

Эти активы становятся более ценными, когда они могут работать как единая система. Запрос на инференс может иметь подходящую емкость поблизости, но все равно преодолевать большее расстояние, чем необходимо, поскольку у сети недостаточно контекста о рабочей нагрузке. Наилучший пункт назначения может зависеть от задержки, доступной пропускной способности, стоимости или требований юрисдикции. Сама по себе традиционная достижимость не выражает все эти потребности.

На конференции NVIDIA GTC в Берлине компания Cisco представляет концептуальный проект маршрутизации для ИИ-инференса (AI Inference Routing), который является одной из нескольких областей совместной работы Cisco и NVIDIA для сервис-провайдеров. В нем описывается, как сервис-провайдеры могут размещать, маршрутизировать, защищать и гарантировать выполнение инференса в рамках распределенной инфраструктуры — от одного периферийного узла до суверенного регионального хаба. Цель состоит в том, чтобы решать проблемы загрузки с помощью размещения и маршрутизации, а не наращивания инфраструктуры. Емкость, простаивающая в одном регионе, может быть задействована под спрос в другом, и полученный сервис можно создавать по требованию, а не предварительно подготавливать объект за объектом.

Почему инференс меняет роль сети

Промпт для ИИ может выглядеть как простой обмен данными между пользователем и моделью, но лежащая в его основе транзакция пересекает распределенную систему. Она может проходить через интернет или корпоративную сеть, движки политик, шлюзы API, уровни маршрутизации моделей, инфраструктуру обслуживания ЦПУ и графическую фабрику (GPU fabric), прежде чем ответ вернется назад. Это делает размещение и подключение частью пользовательского опыта.

Это приобретает еще большую значимость по мере того, как инференс распространяется на центральные ИИ-фабрики, региональные дата-центры, точки в мегаполисах и периферийные узлы. Одному запросу может потребоваться путь с минимальной задержкой. Другой должен оставаться в пределах национальных границ. Третий может отдавать приоритет стоимости при сохранении целевых показателей производительности. Сервис-провайдерам нужен способ трансляции этих требований в поведение сети и проверки с помощью измерений того, что сервис выполняет взятые на себя обязательства.

Проект, построенный на развернутых сетевых стандартах

Концептуальный проект маршрутизации ИИ-инференса начинается с механизмов, которые сервис-провайдеры уже используют, включая Segment Routing over IPv6 (SRv6), Flexible Algorithm (Flex Algo) и Border Gateway Protocol (BGP). Клиент заявляет о своих потребностях, таких как время отклика, юрисдикция, отказоустойчивость или ценовая категория, а проект описывает, как сеть может интерпретировать это намерение, чтобы сделать места инференса доступными и выбрать пути, удовлетворяющие этим требованиям. Для этого не требуется новый протокол маршрутизации или отдельная сеть для каждой рабочей нагрузки.

Flex Algo может вычислять пути с использованием определенных метрик и ограничений. Segment Routing может направлять трафик по этим путям, в то время как BGP распространяет информацию о доступности по всей инфраструктуре. Используемые вместе, эти механизмы обеспечивают практическую основу для направления запроса на инференс в подходящее местоположение по пути, который учитывает требования к задержке, пропускной способности, стоимости и юрисдикции. В этой архитектуре пути могут создаваться по мере возникновения потребности у сервиса, а не предварительно строиться между каждой парой локаций, а сетевой срез (network slicing) позволяет изолировать трафик инференса от других сервисов на той же конвергентной фабрике.

Для сервис-провайдеров ценность для бизнеса очевидна: распределенные вычисления больше не нужно продавать как набор изолированных площадок. Они могут стать сервисом с единой политикой и гарантией качества в рамках более широкой инфраструктуры. Это создает основу для дифференцированного подключения инференса, суверенных ИИ-сервисов и управляемых периферийных ИИ-решений.

Отказоустойчивость, безопасность и операционная деятельность должны работать в комплексе

Обеспечение стабильной работы такого сервиса в сложной распределенной инфраструктуре означает, что эти компоненты не могут функционировать изолированно. Проект объединяет их в единую координируемую систему.

Отказоустойчивая инфраструктура

Проект разработан таким образом, чтобы рассматривать каждый участвующий узел инференса как часть единой доступной системы. Политики могут различать задачи обслуживания, вместо того чтобы отправлять каждый запрос по одному и тому же пути по умолчанию.

Поскольку в разработке используются устоявшиеся транспортные механизмы, сервис-провайдеры могут опираться на свою текущую сетевую архитектуру и операционные знания. Проект также определяет способы измерения результатов путем проверки времени отклика, пройденного пути и локации, которая обслужила запрос, на соответствие обязательствам сервис-провайдера. Затем сервис-провайдеры могут доказать, что они выполнили каждую задачу обслуживания.

Встроенная безопасность

Распределенный инференс увеличивает количество сетевых, облачных и периферийных доменов, которые может пересекать рабочая нагрузка. Безопасность и суверенитет необходимо учитывать наряду с выбором пути. Проект внедряет политику в процесс принятия решений о маршрутизации, показывая, как сервис-провайдеры могут удерживать трафик на одобренных путях и последовательно применять защиту в доменах доступа, мегаполисов, ядра и периферии.

Автономные операции на базе агентов

Сервис-провайдеры и крупные предприятия балансируют между возможностями и контролем, внедряя ИИ в сетевые операции. Открытые модели обеспечивают и то, и другое, предоставляя клиентам желаемый контроль и экономику без ущерба для необходимых возможностей.

Портфолио Cisco уже включает элементы, которые сервис-провайдеры могут использовать для реализации этого проекта. Например, Crosswork AI, многоагентная платформа Cisco для сетевых операций, объединяет открытые модели NVIDIA Nemotron и программное обеспечение NVIDIA AI Enterprise для поддержки агентских задач, таких как глубокое устранение неполадок в сети в распределенной инфраструктуре с возможностью запуска моделей локально (on-premises).

Crosswork AI отслеживает состояние сети, сопоставляет сигналы в разных доменах и предлагает пути решения до того, как проблема повлияет на работу сервиса. Сервис-провайдеры также могут создавать собственных агентов для своих сред. Проверки политик и одобрение оператором остаются частью рабочего процесса, обеспечивая регулируемый путь к большей автономности.

Превращение сетевого охвата в новые услуги

Сервис-провайдеры десятилетиями строили отказоустойчивые сети, региональные объекты и накапливали операционную экспертизу. ИИ-инференс дает этим инвестициям новые роли. Следуя данному проекту, оператор может использовать его для предоставления клиентам следующих возможностей:

Услуги подключения для инференса, выбирающие пути под заданные требования к задержке, пропускной способности, стоимости или политикам
Суверенные ИИ-сервисы, направляющие трафик через одобренную инфраструктуру и в рамках требуемых границ
Управляемый распределенный инференс, объединяющий региональную или периферийную емкость в единый клиентский сервис

Поставщики услуг могут перейти от продажи недифференцированной полосы пропускания к предоставлению гарантированного результата. Клиентам больше не нужно самостоятельно собирать воедино сеть, вычислительные площадки, средства контроля политик и операционную модель. Поставщик услуг может объединить эти элементы и управлять ими как единым сервисом.

Расширение сотрудничества с NVIDIA

Архитектурное решение AI Inference Routing — это часть более масштабной совместной работы Cisco и NVIDIA, призванной помочь клиентам создавать и эксплуатировать ИИ от ядра до границы сети. Cisco Secure AI Factory with NVIDIA предоставляет модульную, предварительно проверенную архитектуру для рабочих нагрузок ИИ, выполняемых на этой инфраструктуре. Данное решение распространяет эту работу на то, как запросы достигают распределенных мощностей по всей сети провайдера. В совокупности эти усилия связывают стек ИИ с сетью, передающей его трафик.

Инфраструктура для конкуренции в сфере распределенного ИИ уже присутствует во многих сетях поставщиков услуг. Наша цель сейчас — помочь сервис-провайдерам заставить эти активы функционировать как единая скоординированная система, обладающая отказоустойчивостью, безопасностью и операционным контролем, необходимыми для сервисов операторского класса.