Спустя несколько месяцев после запуска агент проверки в рамках процесса адаптации по принципу «знай своего клиента» (KYC) обработал несколько сотен кейсов. За это время провайдер LLM выпустил новую версию модели, а команда дважды отредактировала системный промпт. Наступает ежемесячный обзор, и руководитель центра компетенций (ЦК) задает три вопроса об агенте: наблюдается ли деградация, во сколько он обходится и привело ли последнее изменение к улучшению или ухудшению результатов?
Ни на один из этих вопросов нельзя ответить на уровне отдельного экземпляра процесса. Функция Operate объясняет один кейс: что агент делает прямо сейчас и почему он поступил именно так. Руководитель ЦК спрашивает о поведении агента во всех кейсах сразу, а для ответа на такой вопрос необходим анализ тенденций.
Утрата контроля над агентами после запуска
Агент редко дает сбой громко и заметно в рабочей среде. После изменения промпта он пишет более длинные ответы, после обновления модели проверяет на один источник больше для каждого кейса, но при этом все кейсы успешно завершаются. В отдельном экземпляре все выглядит нормально, поэтому изменения остаются незамеченными до тех пор, кто-нибудь не проверит общую стоимость владения и метрики качества, что часто происходит лишь спустя месяцы.
В этом и заключается риск. Затраты на токены постепенно растут и обнаруживаются только по факту выставления счета. Качество падает, и об этом узнает клиент или аудитор. Замена модели происходит без каких-либо доказательств того, что она помогла, и никто не может сказать, стоит ли ее оставить или откатить назад. А когда ЦК не может ответить на базовые вопросы об агентах, уже работающих в продакшене, он перестает им доверять и сдерживает запуск новых, поскольку каждый новый агент несет в себе не поддающийся оценке риск. Согласно отчету Camunda «State of Agentic Orchestration and Automation Report» за 2026 год, 71% организаций используют ИИ-агентов, но в прошлом году только 11% вариантов их применения дошли до стадии промышленной эксплуатации.
Большинство команд закрывают эту брешь вручную: экспортируют трассировки, копируют метрики в таблицы, создают по одному дашборду на каждого агента. Это работает для одного агента и полностью перестает работать, когда агенты задействованы в десятках процессов и построены на разных фреймворках.
Оценка агентов как части процесса
В Camunda 8.10 в систему Optimize добавлена панель управления Agentic control plane: единый дашборд, который показывает, как агенты в ваших процессах ведут себя с течением времени — по всему кластеру в целом либо для конкретного процесса и версии.
Главное отличие заключается в происхождении данных. Инструменты, которые отслеживают только самого агента, могут рассказать лишь о том, что он сделал. Camunda оркестрирует агентов как извне, так и изнутри бизнес-процесса. Для ИИ-агентов Camunda она обеспечивает обязательное прохождение шагов между решением агента и его действием,
Панель управления фиксирует события как для ИИ-агентов Camunda, так и для внешних агентов, оценивая каждого из них в контексте того бизнес-кейса, который он обслуживал, наряду с людьми и системами, обрабатывавшими остальные части процесса.
В процессе KYC из первой части этой серии встроенный шаг утверждения может приостановить решение агента до получения одобрения от человека, и панель управления отображает этот шаг непосредственно рядом с собственным поведением агента.
Ответы на вопросы ревизии с помощью панели управления
Ежемесячный обзор обычно начинается с общей картины и постепенно сужается: как в целом идут дела с агентскими задачами, какому процессу требуется внимание и что именно изменилось внутри него. Панель управления следует тому же пути, поэтому руководитель ЦК приходит на совещание с готовыми ответами, а не со списком тикетов для инженерной команды.
Она открывается с обзора всего кластера. Верхняя строка показывает, сколько экземпляров агентских процессов завершилось, сколько времени это заняло и как часто они сталкивались с инцидентами — для каждого показателя приводится изменение по сравнению с прошлым месяцем. Это экспресс-проверка состояния: растет ли объем агентской работы и не становится ли она медленнее или менее надежной по мере роста. Ниже дашборд группирует детали по категориям: использование токенов, вызовы инструментов, надежность и длительность. Выберите процесс и версию — и каждый раздел отобразит данные исключительно по ним.
Именно такая структура позволяет одной панели управления ответить на каждый из вопросов ежемесячного обзора.
Происходит ли деградация? Деградация проявляется в характере числовых показателей задолго до того, как перерастает в инциденты. Когда несколько кейсов начинают стоить намного дороже типичного, среднее количество токенов на одно выполнение начинает отличаться от медианного значения, а диапазон между самыми дешевыми и самыми дорогими кейсами расширяется. Когда агент начинает зацикливаться или инструмент перестает возвращать полезные ответы, количество вызовов инструментов растет, в то время как объем кейсов остается прежним. Когда самые медленные кейсы выполняются еще дольше, увеличивается разрыв между медианной длительностью и показателем 95-го процентиля. Вы замечаете деградацию прямо во время обзора, пока это всего лишь тенденция и до того, как она превратится в отчет об инциденте или счет на оплату.
Во сколько обходится агент? По всему кластеру панель управления ранжирует процессы по потреблению токенов, поэтому вы сразу знаете, на какой из них стоит обратить внимание в первую очередь. Внутри процесса она отображает вызовы инструментов и длительность в виде тепловых карт на диаграмме процесса, вплоть до отдельных инструментов, к которым обращается агент. В процессе KYC это та самая разница между пониманием того, что процесс стал дороже, и знанием того, какой именно агент и какой из его инструментов эту стоимость повышают. Усилия по оптимизации направляются туда, где они принесут отдачу: на более скромную модель или более строгий промпт для того единственного агента, которому это необходимо, вместо сокращения бюджетов по всем агентам подряд.
Помогло ли последнее изменение? Допустим, команда переводит агента проверки на более дешевую модель. Сначала они фиксируют исходные показатели с помощью панели управления, тестируют новую модель через Camunda Process Test, выпускают ее в продакшн и сравнивают показатели за недели после запуска с неделями до него. Если изменение было выпущено как новая версия процесса, панель управления сопоставляет версии бок о бок. Если же модель была заменена во время выполнения, изменение отображается в трендах начиная с этой даты. Такое сравнение выявляет то, что скрывает прайс-лист: модель, которая дешевле в расчете на один токен, но делает в два раза больше вызовов инструментов, не является более дешевой в расчете на один кейс.
Иногда данные указывают на необходимость совершенно другого изменения. Если тепловая карта показывает, что агент проходит один и тот же путь в большинстве кейсов, совершая одну-две итерации и используя каждый раз один и тот же инструмент, это означает, что агент принимает решение, которое процесс мог бы принять самостоятельно. Такой путь является кандидатом на перевод в детерминированный шаг, например служебную задачу или решение DMN, что работает быстрее, обходится дешевле и проще поддается аудиту. Агента вовсе не обязательно ударять лицом в грязь или увольнять: процесс направляет предсказуемые кейсы по детерминированному пути, а агента оставляет для исключений, требующих его рассуждений. Агентский процесс остается процессом, поэтому вы моделируете изменение как новую версию и мигрируете на нее работающие экземпляры. Повышение эффективности агентского процесса иногда сводится к использованию меньшего количества ИИ везде, где кейсы оказываются предсказуемыми.
Чтобы увидеть весь процесс обзора за один проход, посмотрите, как панель управления проводит вас через процесс KYC примерно за 90 секунд: проверка состояния, деградация, затраты и смена версии.
Обязательно загляните позже, чтобы посмотреть наше видео об Optimize Agentic Control Plane (скоро в эфире).
Запуск агентов, которым можно доверять — от тестов до масштабирования.
Этот пост завершает серию материалов о доверии к производственным агентам (Production Agentic Trust), которая началась с простого наблюдения: у ИИ-агентов нет проблемы с возможностями, у них есть проблема с доверием. В рамках этой серии один и тот же процесс KYC тестировался перед тем, как попасть к клиенту, отслеживался и объяснялся пошагово в Operate, а теперь измеряется на сотнях кейсов в Optimize. Именно это превращает агента из пилотного проекта в продакшен, за который вы можете ручаться: вы знаете, как он себя ведет до запуска, что и почему он делает во время работы, и стоит ли продолжать его запускать спустя месяцы.
Панель управления агентами (Agentic control plane) доступна в Optimize в составе Camunda 8.10. Выберите один агентский процесс, который вы уже используете, откройте его в панели управления и проверьте, сможете ли вы ответить на все три вопроса для каждого агента в нем до того, как их зададут на следующем совещании.
