Спустя несколько месяцев после запуска агент проверки в рамках процесса адаптации KYC (знай своего клиента) обработал несколько сотен обращений. За это время провайдер LLM выпустил новую версию модели, а команда дважды отредактировала системный промпт. Затем наступает время ежемесячного обзора, и руководитель центра компетенций (CoE) задает три вопроса об агенте: наблюдается ли деградация, во сколько он обходится и привело ли последнее изменение к улучшению или ухудшению?
Ни на один из этих вопросов нельзя ответить в рамках отдельного экземпляра процесса. Функция Operate объясняет один случай: что агент делает прямо сейчас и почему он поступил именно так. Руководитель CoE спрашивает о поведении агента во всех его обращениях, а для ответа на вопрос обо всех них необходим анализ тенденций.
Утрата контроля над агентами после запуск
Агент редко дает сбой с громким шумом в продакшене. После правки промпта он пишет более длинные ответы, после обновления модели проверяет на один источник больше для каждого обращения, и при этом каждое обращение все равно успешно завершается. Ничто в отдельном экземпляре не выглядит неправильным, поэтому изменение остается незамеченным до тех пор, пока кто-то не проверит общую стоимость владения и метрики качества, что часто происходит месяцы спустя.
Именно в этом кроется риск. Затраты на токены постепенно растут и обнаруживаются только по приходе счета. Качество снижается, и это обнаруживает клиент или аудитор. Замена модели происходит без каких-либо доказательств того, что она помогла, и никто не может сказать, стоит ли ее оставить или откатить изменения. И когда CoE не может ответить на базовые вопросы об агентах, уже работающих в продакшене, он перестает им доверять и сдерживает запуск следующих, потому что каждый новый агент добавляет риск, который никто не может измерить. Согласно отчету Camunda «State of Agentic Orchestration and Automation Report» за 2026 год, 71% организаций используют ИИ-агентов, но только 11% вариантов использования дошли до продакшена в прошлом году.
Большинство команд восполняют этот пробел вручную: выгружают трассировки, копируют метрики в таблицы, создают по одному дашборду на каждого агента. Это работает для одного агента и перестает работать, когда агенты выполняются внутри десятков процессов, построенных на нескольких фреймворках.
Оценка агентов как части процесса
Camunda 8.10 добавляет панель управления агентами (Agentic control plane) в Optimize: единый дашборд, который показывает, как агенты в ваших процессах ведут себя с течением времени — по всему кластеру, либо для отдельного процесса и версии.
Главное отличие заключается в том, откуда берутся цифры. Инструменты, которые наблюдают только за самим агентом, могут рассказать вам лишь о том, что сделал агент. Camunda оркеструет агентов как извне, так и изнутри бизнес-процесса. Для ИИ-агентов Camunda она обеспечивает выполнение шагов между решением агента и его действием,=,
Панель управления фиксирует происходящее как с ИИ-агентами Camunda, так и с внешними агентами, оценивая каждого из них в контексте обслуживаемого им бизнес-кейса, рядом с людьми и системами, которые обрабатывали остальную его часть.
В процессе KYC из предыдущей части этой серии встроенный шаг утверждения может приостановить решение агента до подтверждения человеком, и панель управления отображает этот шаг рядом с собственным行为 агента.
Ответ на вопросы обзора с помощью панели управления
Ежемесячный обзор обычно начинается с общего обзора и сужается до деталей: как в целом обстоят дела с агентской работой, какому процессу требуется внимание и что именно изменилось внутри него. Панель управления следует по тому же пути, поэтому руководитель CoE может прийти на обзор с готовыми ответами, а не со списком задач для команды инженеров.
Она открывается с представления всего кластера. В верхней строке показано, сколько экземпляров процессов с участием агентов было завершено, сколько времени это заняло и как часто они сталкивались с инцидентами — каждое значение указано с изменением по сравнению с прошлым месяцем. Это проверка работоспособности: растет ли объем агентской работы, и не становится ли она медленнее или менее надежной по мере роста. Ниже дашборд группирует детали по использованию токенов, вызовам инструментов, надежности и длительности. Выберите процесс и версию, и каждый раздел отфильтруется по ним.
Именно такая структура позволяет одному дашборду ответить на каждый из вопросов обзора.
Есть ли деградация? Деградация проявляется в характере числовых показателей задолго до того, как перерастает в инциденты. Когда несколько обращений начинают стоить гораздо дороже типичных, среднее количество токенов на выполнение отдаляется от медианы, а диапазон между самыми дешевыми и самыми дорогими обращениями расширяется. Когда агент начинает зацикливаться или инструмент перестает возвращать полезные ответы, количество вызовов инструментов растет, в то время как объем обращений остается прежним. Когда самые медленные обращения замедляются еще больше, разрыв между медианной длительностью и 95-м процентилем увеличивается. Вы замечаете деградацию прямо во время обзора, пока это все еще тренд, задолго до того, как он дойдет до отчета об инциденте или счета на оплату.
Сколько он тратит? По всему кластеру панель управления ранжирует процессы по потребляемым ими токенам, так что вы знаете, на какой из них стоит обратить внимание в первую очередь. Внутри процесса она отображает вызовы инструментов и длительность в виде тепловых карт на диаграмме процесса — вплоть до отдельных инструментов, вызываемых агентом. В процессе KYC это разница между знанием того, что процесс стал дороже, и знанием того, какой именно агент и какой из его инструментов приводят к росту затрат. Усилия по оптимизации направляются туда, где это приносит пользу: меньшая модель или более строгий промпт для того единственного агента, которому это необходимо, вместо сокращения затрат по всем агентам подряд.
Помогло ли последнее изменение? Допустим, команда переводит агента проверки на более дешевую модель. Сначала они фиксируют базовые показатели с панели управления, тестируют новую модель с помощью Camunda Process Test, выкатывают ее в продакшн и сравнивают недели после изменения с неделями до него. Если изменение было выпущено как новая версия процесса, панель управления сопоставляет версии бок о бок. Если модель была заменена во время выполнения, сдвиг отображается на графиках трендов начиная с этой даты. Такое сравнение позволяет выявить то, что скрывает прайс-лист: модель, которая дешевле в расчете на один токен, но делает в два раза больше вызовов инструментов, не является более дешевой в расчете на одно обращение.
Иногда данные указывают на необходимость другого изменения. Если тепловая карта показывает, что агент идет по одному и тому же пути в большинстве случаев, совершая одну-две итерации и используя один и тот же инструмент каждый раз, это означает, что агент принимает решение, которое процесс мог бы принять самостоятельно. Такой путь является кандидатом на замену детерминированным шагом, например сервисной задачей или решением DMN, которые работают быстрее, дешевле и проще поддаются аудиту. Агента не обязательно убирать совсем: процесс направляет предсказуемые обращения по детерминированному пути и оставляет агента для исключений, требующих его рассуждений. Агентский процесс остается процессом, поэтому вы моделируете изменение как новую версию и миграцию работающих экземпляров на нее. Улучшение агентского процесса иногда означает использование меньшего количества ИИ везде, где обращения оказываются предсказуемыми.
Чтобы увидеть весь обзор за один проход, посмотрите, как панель управления проходит через процесс KYC примерно за 90 секунд: проверка работоспособности, деградация, затраты и изменение версии.
Обязательно вернитесь, чтобы посмотреть наше видео об Optimize Agentic Control Plane (скоро в продаже).
Запуск агентов, которым можно доверять: от тестирования до масштабирования
Этот пост завершает серию материалов о доверии к автономным агентам в продакшене (Production Agentic Trust), отправной точкой для которой стало простое наблюдение: у ИИ-агентов нет проблемы с возможностями, у них есть проблема с доверием. В рамках этой серии один и тот же процесс KYC тестировался до того, как попасть к клиенту, отслеживался и объяснялся в режиме реального времени в Operate, а теперь измеряется на сотнях кейсов в Optimize. Именно это превращает агента из пилотного проекта в продакшен, за который вы можете ручаться: вы знаете, как он ведет себя до запуска, что и почему он делает во время работы, и стоит ли продолжать его использовать спустя месяцы.
Панель управления агентами (Agentic control plane) доступна в Optimize начиная с версии Camunda 8.10. Выберите один агентский процесс, который вы уже используете, откройте его в панели управления и проверьте, сможете ли вы ответить на все три вопроса для каждого агента в нем до того, как их зададут на следующем совещании по оценке.
