Главная

Блог

Управление и безопасность ИИ

Брэд Гриффит (Brad Griffith)

11 нояб. 2026 г.

Вы можете маршрутизировать вызовы LLM по стоимости, задержке или задаче без потери контроля, запуская маршрутизатор внутри шлюза, который уже обеспечивает соблюдение вашей политики. В этом случае маршрутизация выбирает один из одобренных моделй, учитывается в рамках того же бюджета и записывается в тот же журнал аудита. Workato Model Gateway использует именно такой подход: маршруты сопоставляются с провайдером и моделью на основе правил, а ограничения скорости, лимиты токенов и политики ключей применяются к каждому маршруту.

Типичная ошибка, которой следует избегать — это маршрутизатор, прикрученный сбоку от шлюза. Это экономит токены, но также создает второй путь, который не контролируется никакой политикой.

Почему маршрутизация обычно ослабляет контроль?

Маршрутизация ослабляет контроль, когда она работает вне уровня политик. Автономный маршрутизатор выбирает модель, но список одобренных моделей, бюджет команды и журнал аудита принадлежат совершенно другой системе. Таким образом, маршрутизатор может отправить запрос модели, которую служба безопасности никогда не проверяла, а финансовый отдел видит расходы только в счете от провайдера. Решение носит архитектурный характер: поместите принятие решений о маршрутизации и политике в одно и то же место, и тогда запрос нельзя будет направить туда, куда использовать его не разрешено.

Что должно включать в себя проектирование управляемой маршрутизации?

Проектирование управляемой маршрутизации включает пять элементов: список одобренных моделей, идентификацию для каждого вызова, лимиты для каждого маршрута, учет использования и запись аудита решения о маршрутизации. Workato Model Gateway охватывает каждый из них. Администраторы задают одобренные модели и назначают виртуальные ключи на уровне пользователя или группы, а ограничения скорости и токенов привязываются к команде, проекту или автоматизации. Использование токенов отчитывается по типу, модели, провайдеру и маршруту, а каждый вызов фиксируется для аудита и мониторинга.

Как маршрутизировать по стоимости?

Сопоставляйте сложность задачи со стоимостью модели и ограничивайте расходы на команду. Начните с рабочих нагрузок, которые доминируют в ваших расходах на токены, и спросите себя, действительно ли каждой из них нужна самая мощная модель. Правила маршрутизации Workato могут оценивать условия для каждого запроса, и в одной из демонстраций Workato правило выбирало модель на основе баланса пользователя, качества и стоимости.

Отчеты об использовании токенов по вводу, выводу, чтению из кэша и записи в кэш показывают, где сосредоточены расходы, поскольку кэшированное чтение и новые входные токены оцениваются по-разному. AI Control Plane от Workato добавляет расходы по командам, моделям и центрам затрат с бюджетами, которые заблаговременно отправляют предупреждения.

Как маршрутизировать по задержке?

Направляйте чувствительные ко времени вызовы к более быстрым моделям, а фоновые задачи отправляйте к более медленным и дешевым. Сеанс чата с клиентом и ночная задача суммирования не должны делить один маршрут. Определите отдельные маршруты для интерактивных и фоновых рабочих нагрузок, пометьте ключи по приоритету и установите ограничения скорости, чтобы фоновый трафик не вытеснял интерактивный. Workato поддерживает теги ключей по отделам, уровню конфиденциальности или приоритету, поэтому правило может сопоставляться по приоритету. Затем измерьте реальную задержку на вашем собственном трафике, поскольку задержка провайдера варьируется в зависимости от нагрузки.

Как маршрутизировать по задаче?

Классифицируйте запрос и сопоставьте каждый класс с моделью. Извлечение, классификация и суммирование часто хорошо работают на меньших моделях, в то время как многоэтапные рассуждения и использование инструментов часто требуют более крупных. Workato запускает AIRO на собственном шлюзе моделей и переключает модели в зависимости от сложности задачи, с бюджетами и квотами на период. Это пример собственной маршрутизации на основе задач под контролем бюджета.

Как сохранить единый бюджет для каждого маршрута?

Сделайте лимит свойством ключа или команды, а не маршрута. Когда ограничения привязаны к источнику вызова, запрос, который переключается на более дешевый маршрут, все равно учитывается в рамках того же лимита. Workato применяет политики ограничения скорости и токенов для каждой команды, проекта или автоматизации. Поскольку шлюз измеряет каждый вызов, изменение маршрутизации сразу же отображается в отчете об использовании, и команда, которая перенаправила трафик, может видеть результат этого изменения.

Как обрабатывать отказ (failover) без нарушения политики?

Заранее определите запасную модель и убедитесь, что она одобрена. Переход на непроверенную модель во время сбоя — это нарушение политики, которого никто не планировал. В Workato аварийное переключение является встроенной функцией Model Gateway. Свяжите каждый маршрут с именованной резервной моделью из одобренного списка и протестируйте путь аварийного переключения до того, как инцидент заставит это сделать.

Как протестировать изменение маршрутизации?

Протестируйте изменение маршрутизации на фиксированном наборе промптов перед перенаправлением трафика. Сравните качество, использование токенов и частоту ошибок между текущим маршрутом и предполагаемым. Workato Model Gateway отображает статистику успешных и неуспешных вызовов в разрезе маршрутов, что делает сравнение измеримым.

Перемещайте трафик поэтапно и оставляйте старый маршрут доступным для отката. Поскольку приложения ссылаются на идентификатор маршрута, откат сводится к изменению конфигурации.

Итог: Маршрутизация вызовов LLM с соблюдением требований контроля

Запускайте маршрутизацию внутри шлюза, чтобы каждый маршрутизируемый вызов оставался одобренным, учитываемым и записанным в журнал. Маршрутизируйте по стоимости, задержке или задаче с помощью правил для тегов, ключей и параметров, а также сохраняйте список одобренных моделей, идентификацию и лимиты на уровне шлюза. Привязывайте бюджеты к командам и ключам, чтобы аварийное переключение не могло их обойти, указывайте резервный вариант из одобренного списка для каждого маршрута и тестируйте изменения на фиксированном наборе промптов.

Часто задаваемые вопросы

Как маршрутизировать вызовы LLM по стоимости?

Сопоставляйте сложность задачи со стоимостью модели и ограничивайте расходы на команду. Проверяйте использование токенов по моделям и маршрутам, чтобы найти самые ресурсоемкие рабочие нагрузки.

Могут ли маршрутизация и контроль существовать в одном продукте?

Да. Workato Model Gateway выполняет маршрутизацию и контроль одновременно, поэтому маршрутизируемые вызовы остаются в рамках одного списка одобренных моделей и единого журнала аудита.

В чем разница между маршрутизацией и отказоустойчивостью (failover)?

Маршрутизация выбирает модель на основе правил. Отказоустойчивость переключает на другую модель, когда первая дает сбой.

Влияет ли маршрутизация на качество вывода?

Может влиять. Меньшие модели хорошо справляются с одними задачами и плохо с другими. Тестируйте с фиксированным набором промптов.

Кто отвечает за правила маршрутизации?

Платформенная или ИИ-инженерная команда пишет правила. Безопасность утверждает список моделей. Финансовый отдел устанавливает бюджеты.

Об авторе

Подробнее об управлении и безопасности ИИ

Узнайте о последних обновлениях и функциях продуктов

Что такое панель управления ИИ (AI Control Plane)?

10 нояб. 2026 г.

Какие шаги агентного рабочего процесса должны быть детерминированными?

5 нояб. 2026 г.

Что такое ИИ-шлюз (AI Gateway)?