Главная
Блог
Агенты ИИ и оркестрация
Брэд Гриффит
11 нояб. 2026 г.
Бюджеты токенов ИИ настраиваются путем маршрутизации всего трафика моделей через шлюз, выпуска ключей с привязкой к командам, назначения ограничений по скорости и токенам для этих ключей, а также анализа измеренного использования по моделям в сопоставлении с результатами. Бюджеты работают только тогда, когда они находятся на пути запроса, потому что электронная таблица не может остановить цикл, сжигающий токены в 2 часа ночи. Workato Model Gateway применяет политики лимитов скорости и токенов для каждой команды, проекта или автоматизации, а также сообщает об использовании по входным, выходным данным, чтению и записи кэша в разрезе моделей, провайдеров и маршрутов.
Последовательность имеет значение: сначала измерение, затем привязка к области, потом лимиты и в конце — проверка.
Почему бюджеты токенов должны находиться на уровне шлюза?
Потому что шлюз — это единственное место, через которое проходят все вызовы моделей. Счета от провайдеров приходят ежемесячно и на уровне аккаунта, поэтому они показывают общие расходы, но не то, какая именно команда их создала. Код приложения может обеспечивать соблюдение лимитов, но тогда каждое приложение должно реализовывать их заново. Шлюз обеспечивает единый лимит для каждого вызывающего абонента, а шлюз Workato является точкой, которая аутентифицирует вызывающего абонента, применяет политики администратора и фиксирует вызов для аудита и наблюдаемости.
Что нужно для отнесения расходов на конкретную команду?
Вам необходим идентификатор для каждого вызова, который сопоставляется с командой, поскольку распределение затрат не работает, когда множество команд используют один и тот же ключ провайдера. В Workato Model Gateway вы можете ограничивать ключи по отделам, уровню конфиденциальности или приоритету с помощью тегов, а также назначать политики на уровне пользователей или групп. Каждый вызов поступает с ключом, поэтому отчеты об использовании можно группировать по командам и ключам. В AI Control Plane от Workato вы можете просматривать расходы по командам, моделям и центрам затрат, а также по ключам, агентам и тегам, что позволяет перераспределять затраты.
Как установить лимит для каждой команды?
Выберите единицу измерения, объем и временное окно. Единицей могут быть запросы или токены, а окном — минута для защиты от превышения частоты запросов или месяц для бюджета. Workato поддерживает политики лимитов скорости и токенов для каждого проекта, команды или автоматизации. Разумный подход на начальном этапе предполагает сочетание жесткого лимита скорости, который быстро останавливает циклы, с ежемесячным объемом токенов, рассчитанным на основе данных об использовании за последние 30 дней. Вы также можете настроить бюджеты, которые отправляют предупреждения задолго до их исчерпания.
Как распределять бюджет по моделям?
Оценивайте токены каждой модели отдельно и отслеживайте входные, выходные и кэшированные токены для каждой модели. Один миллион выходных токенов от передовой модели и от небольшой модели стоят по-разному. Workato Model Gateway сообщает об использовании токенов по типам и моделям, поэтому на той же панели мониторинга, которая показывает общие затраты команды, видно, какие модели их сформировали. Список утвержденных моделей не позволяет командам выбирать варианты, которые финансовый отдел не закладывал в бюджет. Наше руководство о том, что такое роутер LLM, охватывает маршрутизацию простых задач на более дешевые модели.
Что должно происходить, когда команда исчерпывает свой бюджет?
Определите это заранее, так как у вас есть четыре варианта: предупреждение, троттлинг, перенаправление на более дешевую модель или блокировка. Предупреждения подходят для этапа исследований, в то время как блокировка — для рабочих нагрузок в продакшене, где перерасход имеет реальную стоимость. Выбирайте стратегию для каждой рабочей нагрузки, а не для всей компании в целом. Ориентированный на клиента агент, вероятно, должен переключаться на более дешевую модель перед тем, как завершиться с ошибкой, в то время как ночное пакетное задание может просто остановиться.
Убедитесь, как ведет себя ваш шлюз при достижении лимита, прежде чем полагаться на него. Один из наглядных примеров — AIRO от Workato: каждое рабочее пространство имеет бюджет токенов на модель в течение скользящего 60-секундного окна, и когда рабочее пространство превышает его, запросы подвергаются троттлингу, а пользователи могут столкнуться с задержкой до 30 секунд до обновления бюджета.
Как связать бюджеты с результатами и ежемесячно анализировать расходы?
Отслеживайте стоимость выполнения одной задачи для каждого рабочего процесса. BCG рекомендует стоимость результата в качестве ключевой метрики наряду с регулярным анализом рабочих процессов с наибольшим потреблением токенов в сопоставлении с тем, что они производят. История заданий Workato записывает действия каждого запуска, что позволяет сопоставить токены с выполненной работой. Наше руководство по стоимости токена на выполненную задачу охватывает этот метод.
Каждый месяц анализируйте основные рабочие процессы по количеству токенов, доле кэша в общем объеме входных данных, командам, приближающимся к своим лимитам, и маршрутам с растущим числом ошибок. Для каждого ключевого рабочего процесса задавайте вопрос, какой результат он принес и помог ли бы более дешевый маршрут. Собственная система AIRO от Workato работает на базе Model Gateway с бюджетами и квотами на период, а также переключением моделей в зависимости от сложности задач, что является примером реализации этого цикла из первых рук.
Резюме: Настройка бюджетов токенов ИИ
Устанавливайте бюджеты на уровне шлюза по ключам с лимитами и измерением по моделям. Направляйте весь трафик моделей через один шлюз, ограничивайте ключи по командам, отделам или приоритетам и применяйте лимиты скорости и токенов для каждой команды, проекта или автоматизации. Затем измеряйте использование по моделям и типам токенов, а также ежемесячно проверяйте стоимость результата.
Часто задаваемые вопросы
Как отслеживать расходы на ИИ по командам?
Выдайте каждой команде собственный ключ через шлюз и формируйте отчеты об использовании по ключам.
Что такое лимит токенов?
Ограничение на количество токенов, которое ключ или команда может использовать в течение заданного временного окна.
Могу ли я настроить бюджеты по центрам затрат?
Да. В AI Control Plane от Workato вы можете просматривать расходы по командам, моделям и центрам затрат, а также устанавливать бюджеты с ранними предупреждениями.
Что происходит, когда команда превышает свой бюджет?
Вы сами выбираете: предупреждение, троттлинг, перенаправление на более дешевую модель или блокировка.
Распространяются ли бюджеты также на агентов и автоматизацию?
Workato применяет лимиты для каждой команды, проекта или автоматизации, поэтому агенты и сценарии, вызывающие шлюз, попадают под эти правила.
Об авторе
Подробнее об агентах ИИ и оркестрации
Узнайте о последних обновлениях и функциях продуктов
Как работает оркестрация на базе агентов в разных приложениях?
11 нояб. 2026 г.
Что такое агентная оркестрация?
10 нояб. 2026 г.
Что такое панель управления ИИ (AI Control Plane)?
10 нояб. 2026 г.
Оглавление
