Главная
Блог
AI-агенты и оркестрация
Брэд Гриффит
11 нояб. 2026 г.
Вы можете сменять провайдеров LLM без изменения кода приложения, разместив шлюз между вашими приложениями и провайдерами: приложения вызывают маршрут, а шлюз определяет, какой провайдер и какая модель дают ответ. Перенастройте маршрут в конфигурации, и все использующие его приложения одновременно переключатся на новые модели. Workato Model Gateway работает именно так: приложения подключаются через совместимый с OpenAI или Anthropic API, а шлюз направляет каждый вызов к конкретному провайдеру и модели в соответствии с политиками, заданными администратором.
Большинство команд сталкиваются с этой проблемой при первом же устаревании модели. Каждый сервис, вызывающий LLM, обычно жестко прописывает провайдера, имя модели и ключ API, поэтому замена любой модели требует правки, тестирования и развертывания всех этих сервисов.
Почему сегодня сложно менять провайдеров LLM?
Переключение дается с трудом, потому что выбор модели зашит в клиентском коде. SDK провайдера, строка модели и учетные данные содержатся в каждом сервисе, и такая схема порождает три проблемы. Ничто не контролирует этот выбор, поэтому команда может вызвать любую понравившуюся модель, включая непроверенные, несоответствующие требованиям или слишком дорогие. Любое изменение требует повторного развертывания, и никто не может увидеть в едином интерфейсе, какая именно модель вызывается и от чьего имени.
Финансовый отдел тоже это чувствует. Затраты отражаются в раздельных счетах от провайдеров, которые никто не сопоставляет по командам, поэтому счет приходит задолго после принятия решения, которое его породило.
Что представляет собой паттерн шлюза для вызовов моделей?
Паттерн шлюза помещает одну управляемую конечную точку перед каждым провайдером моделей. Ваши приложения отправляют запросы на эту конечную точку в привычном формате API. Шлюз аутентифицирует вызывающую сторону, применяет политики, перенаправляет вызов выбранному провайдеру и логирует результат.
Идея, которая заставляет это работать — косвенная адресация. Приложение никогда не указывает провайдера. Оно указывает маршрут, а маршрут указывает на провайдера и модель, поэтому изменение маршрута меняет пункт назначения для каждого вызывающего объекта. DNS сделал то же самое для имен хостов, а сетки сервисов (service mesh) — для адресов сервисов; теперь этот подход применяется и к доступу к моделям.
Как маршруты позволяют менять модели с помощью конфигурации?
Маршрут — это стабильный идентификатор, который сопоставляется с провайдером и моделью, что означает, что ваше приложение всегда ссылается только на этот идентификатор. В Workato Model Gateway администратор определяет маршруты, которые указывают напрямую на определенного провайдера и модель либо используют правила на основе тегов, ключей, параметров или сложности запроса. Чтобы перенаправить трафик с устаревшей модели, вы редактируете маршрут, и ни один сервис не требует переразвертывания.
Workato Model Gateway поддерживает три типа маршрутов, причем маршрут на основе правил является самым гибким. В ходе одной из демонстраций продуктов Workato маршрут на основе правил сначала применял политику защиты сотрудников к каждому запросу. Затем он выбирал модель на основе правил, учитывающих баланс пользователя, качество и стоимость.
Как выглядит миграция шаг за шагом?
Миграция на шлюз состоит из четырех шагов, и весь процесс можно отменить в любой момент. Во-первых, создайте маршрут для каждой комбинации провайдера и модели, которую вы используете сегодня. Во-вторых, выпустите ключи шлюза, привязанные с помощью тегов к отделам, уровню конфиденциальности или приоритету. В-третьих, настройте приложение на обращение к конечной точке и ключу шлюза вместо API провайдера. В-четвертых, примените политики, такие как ограничения частоты запросов (rate limits) и токенов для каждой команды, проекта или процесса автоматизации.
Само изменение в коде приложения сводится к двум строкам: указать базовый URL шлюза и ключ для первого вызова. Если что-то пойдет не так, вы можете вернуть все назад, что позволяет менять провайдеров, не касаясь кода приложения. Приложениям, которые уже работают с OpenAI-совместимым или Anthropic-совместимым API, не требуются новые SDK.
Что остается прежним, а что меняется у разных провайдеров?
Формат запросов и ответов на уровне шлюза не меняется, но поведение моделей — да. Шлюз стандартизирует поверхность API, но он не может заставить две разные модели отвечать абсолютно одинаково. Промпты, настроенные под одну модель, могут работать хуже на другой, форматы вызова инструментов (tool-calling) различаются, а лимиты контекста и ценообразование варьируются.
Поэтому тестируйте каждый маршрут с фиксированным набором промптов перед перенаправлением производственного трафика. Шлюз делает такое тестирование недорогим, поскольку вы можете направить часть трафика на новый маршрут, в то время как остальной трафик останется на старом. Workato Model Gateway также предоставляет отчеты об успешных вызовах и ошибках в разрезе маршрутов, поэтому регрессия отображается на панели управления, а не превращается в тикет техподдержки.
Как шлюз обрабатывает аварийное переключение (failover)?
При сбое провайдера шлюз повторяет запрос к другому провайдеру или модели, которые вы определили для этого маршрута. Сбои и ошибки превышения лимитов запросов (rate limit) — обычное дело при масштабировании, а аварийное переключение обеспечивает бесперебойную работу приложения без необходимости писать код, знающий о множестве провайдеров. Аварийное переключение и учет токенов — это встроенные возможности Model Gateway в Workato.
Заранее установите цель для аварийного переключения и убедитесь, что она входит в ваш список одобренных моделей. Переключение на непроверенную модель незаметно сводит на нет контроль, ради обеспечения которого вы и настраивали шлюз.
Как сохранять контроль при изменении моделей?
Вы сохраняете контроль, если рассматриваете список одобренных моделей и бюджет как политики шлюза, а не как привычки команд. Workato Model Gateway позволяет администратору задавать этот список, назначать ключи и политики на уровне пользователя или группы, а также устанавливать ограничения на частоту запросов и количество токенов. Отчеты об использовании токенов по входным, выходным данным, чтению и записи кэша, сгруппированные по модели, провайдеру и маршруту, позволяют увидеть, как каждое переключение повлияло на затраты.
Workato управляет собственной системой агентов AIRO на базе своего шлюза моделей, используя бюджеты и квоты на период, а также переключение моделей в зависимости от сложности задачи. Это тот же паттерн переключения, который описан в данной статье, примененный к собственному продукту Workato.
Резюме: смену провайдеров LLM без изменения кода
Направляйте вызовы моделей через шлюз и меняйте провайдеров путем редактирования маршрута. Приложения вызывают идентификатор маршрута вместо провайдера и модели, а Workato Model Gateway принимает запросы, совместимые с OpenAI и Anthropic. Перенаправление маршрута обновляет всех вызывающих абонентов одновременно без повторного развертывания, однако сначала протестируйте новую модель на фиксированном наборе промптов, так как поведение моделей все равно отличается. Сохраняйте список одобренных моделей и лимиты токенов в качестве политик шлюза.
Часто задаваемые вопросы
Могу ли я перейти с OpenAI на Anthropic без переписывания приложения?
Если ваше приложение осуществляет вызовы через шлюз с совместимым API, то для подключения — да. Поведение моделей все равно отличается, поэтому перетестируйте промпты.
Что такое маршрут в шлюзе моделей?
Маршрут сопоставляет стабильный идентификатор с провайдером и моделью — напрямую или с помощью правил. Приложения используют этот идентификатор.
Добавляет ли шлюз моделей задержку?
Шлюз добавляет сетевой переход. Измерьте его на своем собственном трафике. Workato Model Gateway отображает статистику успешных вызовов и ошибок по маршрутам.
Как откатить переключение модели?
Отредактируйте маршрут, вернув предыдущего провайдера и модель. Поскольку приложения ссылаются на маршрут, откат также не требует повторного развертывания.
Кто должен управлять маршрутизацией моделей?
Платформенная или AI-инженерная команда отвечает за маршруты. Безопасность отвечает за список одобренных моделей. Финансовый отдел устанавливает бюджеты.
Об авторе
Подробнее об AI-агентах и оркестрации
Узнайте о последних обновлениях и функциях продукта
Что такое агентные воркфлоу?
11 нояб. 2026 г.
Что включает в себя панель управления ИИ?
11 нояб. 2026 г.
Агентная оркестровка против оркестровки агентов
11 нояб. 2026 г.
Содержание
