Предприятия могут создавать ИИ-агентов. Добиться достаточного доверия к ним для запуска в продакшн — более сложная задача, требующая слаженной работы тестирования, наблюдаемости и прозрачности как единой системы.
В Camunda мы общаемся со множеством компаний, которые сейчас пытаются внедрить ИИ-агентов в продакшн, и из раза в раз мы слышим одну и ту же историю.
Агент прекрасно работает на демонстрации. Затем он запускается в работу, принимает решение по реальному клиенту, и возникает первый сложный вопрос: почему он поступил именно так?
Допустим, агент отклоняет заявку на кредит, и заявитель звонит, чтобы узнать причину. Операционный отдел открывает данные процесса и логи агента: страницы текста с рассуждениями без четкой точки принятия решения и без записи о том, какое правило политики сработало. Никто не может дать заявителю прямой ответ.
Разрыв между пилотным проектом и окупаемостью
Согласно отчету Camunda за 2026 год «Состояние агентной оркестрации и автоматизации» (State of Agentic Orchestration and Automation Report), 71% предприятий сегодня используют ИИ-агентов в том или ином виде: в пилотных проектах, песочницах и ограниченных испытаниях. Лишь 11% запустили хотя бы одного агента в полноценный продакшн, где он принимает реальные решения в отношении реальных клиентов, а 85% заявляют, что им не хватает процессной зрелости для такого шага.
Каждый из этих пилотных проектов уже доказал, что агент справляется с работой в контролируемых условиях. Недостаток процессной зрелости сводится к одному важнейшему фактору — доверию. Как только агент начинает принимать решения в рамках действующего бизнес-процесса, лица, ответственные за него, не могут предсказать его поведение, понять, чем он занят в данный момент, или объяснить мотивы его поступков.
Одновременные вопросы возникают в любой корпоративной беседе о развертывании агента в продакшн, причем зачастую от разных людей и в разные моменты времени:
Цена полета вслепую
Некоторые предприятия не ждут ответов на все эти вопросы. Они внедряют агентов в продакшн без них, и это начинает обходиться слишком дорого.
- Регуляторные издержки возникают первыми. Закон ЕС об искусственном интеллекте (EU AI Act) требует обеспечения возможности аудита, объяснимости и человеческого надзора для систем ИИ с высоким уровнем риска. Если вы ошибетесь с обеспечением прозрачности, штраф может достичь 3% от общемидового годового оборота или 15 миллионов евро — в зависимости от того, какая сумма окажется выше. Агент, который не может объяснить принятое в отношении клиента решение, больше не является технологическим риском — это регуляторная угроза, ждущая аудита.
- Коммерческие издержки — это то, о чем спрашивает совет директоров. Пока агент квартал за кварталом находится на стадии подтверждения концепции, конкурент тратит тот же квартал на его выпуск на рынок, и финансовый директор хочет знать, почему бюджет на ИИ до сих пор не принес измеримых результатов. Мы участвовали в достаточном количестве подобных обзоров, чтобы знать: фраза «это работало на демо» помогает пройти только первую встречу. Вторую она вам не обеспечит.
- Операционные издержки — это то, недооценивая что, команды сталкиваются с суровой реальностью лишь на собственном опыте. Единый бизнес-сценарий — претензия, кредит, заказ — проходит через людей, системы и агентов одновременно, но инструменты, созданные для каждой стороны, не взаимодействуют друг с другом: фреймворк агента фиксирует его действия, инструмент human-in-the-loop — то, что одобрил человек, и ни одно из средств не записывает момент их передачи. Человек вмешивается, чтобы одобрить или отклонить решение агента (именно тот момент, о котором позже спросит аудитор), и здесь история разделяется: рассуждения агента остаются в одной системе, решение человека — в другой, и ничто не объединяет их в единую запись о произошедшем. Видимость пропадает именно там, где реализуется бизнес-сценарий: на стыке между человеком и агентом.
Тестируйте, наблюдайте, объясняйте
Решение Camunda строится на ответах на эти вопросы, а не на перечне функций. Мы называем это «Продакшн-доверие к агентам» (Production Agentic Trust) — частью агентской оркестрации, которая делает безопасной их работу в продакшн. Три условия должны выполняться одновременно. Вы доказываете, как агент ведет себя до того, как он сталкивается с клиентом. Вы следите за его действиями в процессе работы. И каждое его решение оставляет след, который можно передать аудитору.
Тестируйте: доказывает, как агент ведет себя до того, как он соприкоснется с реальным клиентом, и здесь требуется ответить на более сложный вопрос, чем при обычном тестировании. Один и тот же агент при одинаковых входных данных может принять два разных, но одинаково обоснованных решения. Это не баг, требующий исправления. Так работают эти системы, поэтому тестирование агента означает его многократный запуск в одном и том же сценарии и проверку того, что разброс результатов остается в пределах допустимого для бизнеса, а не проверку успешности какого-то одного прогона. Эту работу выполняют статистические методы: измерение того, как часто решения агента варьируются, насколько сильно они различаются и уменьшается или увеличивается этот разброс по мере изменения агента.
Наблюдайте: означает, что оператор может следить за действиями агента в режиме реального времени, а не восстанавливать их задним числом по лог-файлу. Такой обзор начинается с системного промта и модели, на которой запущен агент, поэтому контекст его поведения является видимым, а не предполагаемым. Он охватывает общение между агентом и тем или тем, кого он обслуживает, а также каждый вызов инструмента с его входными и выходными данными. Он также распространяется на инструменты, которые были доступны агенту, но которые он предпочел не вызывать: агент, который никогда не пользуется предоставленным каналом эскалации, представляет иной риск по сравнению с тем, кому такой путь эскалации вообще не предоставляли, и только видение того, что он мог сделать, позволяет различить эти два случая.
Объясняйте: означает, что каждое решение автоматически оставляет запись, созданную для ответов на вопросы регулятора или аудитора: с каким контекстом работал агент, какие инструменты он вызывал, перешел ли он к эскалации в случае неуверенности вместо того, чтобы гадать, где вмешался человек и почему он пришел именно к такому результату. Действующие в тот момент защитные механизмы также являются частью этой записи: пороги одобрения, правила эскалации и лимиты, которые применялись во время действий агента, а не где-то зафиксированная политика. Это возможно благодаря тому, что Camunda управляет агентом на двух уровнях одновременно: как он участвует в качестве одной из частей более крупного бизнес-процесса, уже включающего людей и другие системы, и что ему разрешено делать после принятия решения о действии. Когда регулятор спрашивает, почему было принято решение, или руководитель операций интересуется текущим статусом кейса, ответ уже существует.
Ничего из этого не придется перестраивать каждый раз при выпуске нового агента. Та же запись, которая объясняет одно решение, агрегируется в общую картину производительности агента по сотням таких решений: показатели эскалации, степень отклонения его поведения по мере роста объемов, сохраняет ли версия этой недели эффективность на уровне прошлой недели. Это дает ответ на вопрос, который никто не задает на первой неделе: продолжает ли это хорошо работать?
Что предлагают все остальные
Большинство инструментов, уже имеющихся у предприятий, решают лишь одну часть этой задачи и останавливаются на достигнутом. Мониторинг, созданный для ИТ-операций, показывает работоспособность системы, но не объясняет, почему агент выбрал конкретный путь. Инструменты управления рабочими процессами и кейсами показывают лог выполненных операций, но он обрывается на границе того, что создало агента: объедините агентов из двух разных фреймворков в один бизнес-процесс, и каждый из них будет отвечать только за свою половину истории. Точечные решения для тестирования, наблюдаемости и доказательства комплаенса также существуют, но они продаются отдельно и каждое охватывает лишь собственный сегмент.
Почти половина предприятий (48%) заявляют, что их ИА-агенты работают изолированно и никогда не встраиваются в сквозной процесс, согласно тому же отчету Camunda. Предприятия, которые уже используют агенты на базе нескольких фреймворков, напрямую сталкиваются с этой слепой зоной: агент, созданный на основе открытого исходного кода, передает задачу на этап утверждения человеком, который затем передает данные второму агенту, написанному полностью собственными силами, и ни у кого нет единого представления о детерминированных шагах, людях и агентах, находящихся рядом друг с другом в рамках одного процесса. Сбор этой картины вручную по логам из трех разных инструментов — это полноценная работа, и в итоге на нее нанимают сотрудников на каждом предприятии, масштабирующемся дальше горстки агентов.
Что Camunda предлагает взамен
Альтернативой является платформа, где тестирование, мониторинг и объяснение работы агента объединены в единую систему, созданную с учетом особенностей поведения агентов: способную принимать обоснованное решение в одном запуске и другое, не менее обоснованное решение в следующем.
Этот подход решает все вопросы в одном месте. Camunda отображает весь процесс в виде единого представления: пользовательские задачи, выполняемые человеком, вызываемые системой службы, ИА-агенты Camunda и агенты, созданные совершенно в другом месте (в LangGraph или в виде пользовательского скрипта на Python, который команда уже выпустила), которыми Camunda управляет как шагом в том же самом процессе. Встройте созданный извне агент в процесс Camunda, и он появится рядом с родными: тот же вид бесед, тот же журнал аудита, а не черный ящик с входом и выходом.
Большинство инструментов могут проводить аудит только того, что они сами создали. Camunda же проводит аудит самого процесса, независимо от того, какой фреймворк агента выполняет работу внутри него: это единое место, где решение агента, одобрение человека и окружающий их процесс остаются связанными, а не разбросаны по трем несвязанным между собой системам. В этом и заключается разница между наблюдением за агентом и наблюдением за бизнес-процессом, частью которого агент является.
Внедрение агентов в производство в этом году сводится к одному: ответу на все четыре вопроса для каждого агента и каждый раз, без необходимости собирать команду в одной комнате для восстановления произошедшего. Самая навороченная модель здесь не поможет, а вот производственное доверие к агентам (Production Agentic Trust) — поможет. Оно создано специально для того, чтобы закрыть этот пробел, и его достижение уже сегодня выведет вас вперед почти всех, кто все еще застрял на стадии пилотного проекта.
Далее в этой серии: что значит тестировать агента, который может дважды принять разные, но одинаково обоснованные решения при одинаковых входных данных? Это вторая статья, которая выйдет в скором времени.
