Агенту, который вносит изменения в рабочие системы, нужны тесты, проверяющие его действия, а не его слова. Ответ может выглядеть безупречно, в то время как соответствующая запись отсутствует или оформлена на другого человека.
Это важно сейчас, потому что агенты переходят от ответов на вопросы к действиям на их основе. Они подают запросы и обновляют записи в системах, на которых работает бизнес.
Прежде чем агент получит права на запись, оценивайте записи, которые он оставляет, и запросы, которые он отклоняет, а не только его ответы. Используйте детерминированные проверки везде, где можно выразить результат, и приберегите оценщик на базе модели для того, что можно увидеть только по всему ходу диалога.
Это краткое содержание, но читайте дальше, чтобы узнать подробнее о том, что нужно протестировать, прежде чем предоставлять агентам права на запись в ваших системах.
Что меняется, когда агент может записывать данные
Когда агент может записывать данные, его ошибки выходят за рамки диалога, где их труднее заметить и труднее исправить.
Мы столкнулись с этим при приемочном тестировании. Пользователь попросил агента отменить запрос. Агент вызвал инструмент обновления, и результат работы инструмента показал, что ничего не изменилось. Затем агент сообщил пользователю, что запрос закрыт.
Наши обычные проверки пропустили это. Мониторинг зафиксировал вызов инструмента как выполненный, а ответ выглядел как успешный. Ни одна проверка не сравнила запись после вызова с тем, что запрашивал пользователь.
Проверяйте запись, а не ответ
Тест может искать доказательства изменений в трех местах, и каждое из них весомее предыдущего. Ответ показывает, что утверждает агент, вызовы инструментов показывают, что он пытался сделать, а система учета показывает, что изменилось. Оценивать только ответ — это все равно что подтверждать банковский перевод по электронному письму с подтверждением, вместо того чтобы проверить баланс.
Оценивайте по самым сильным доступным доказательствам. После каждого теста, который вносит изменения, просматривайте систему учета и подтверждайте, что запись существует с полями, которые запрашивал пользователь, и что ничего лишнего не было создано.
Проверяйте также вызовы инструментов. Тест должен завершаться неудачей, если агент вызывает инструмент, который не требовался для запроса, например, обновление во время поиска. Когда пользователь просит сделать то, что ему не разрешено, тест должен подтвердить, что вызов инструмента был отклонен и что в ответе указано, что запрос не разрешен.
Тесты, вносящие изменения, создают реальные записи, поэтому запускайте их в «песочнице» — копии системы учета, под тестовой учетной записью, а не под учетной записью реального человека. Там, где копии нет, запускайте агента в режиме проверки, где он предлагает каждое изменение, а человек одобряет его, прежде чем что-либо произойдет. Каждое одобрение или отклонение затем засчитывается как результат теста.
Тестирование отказов под давлением
Прежде чем агент получит права на запись, самые важные тесты должны охватывать то, чего он делать не должен. Напишите тест для каждого запроса, который он обязан отклонить, например, изменение записи другого пользователя или установка приоритета, зарезервированного для персонала.
Затем добавьте продолжение, в котором пользователь настаивает, например: «Да, сделай все в точности, как я просил». Включите также попытки манипуляции, например, сообщение, которое якобы исходит от администратора и приказывает агенту игнорировать свои правила.
В нашем тестировании правило, которое существовало только в инструкциях агента, действовало до тех пор, пока пользователи не начинали настаивать. Затем агент вносил изменения и подтверждал, что сделал то, о чем его просили. Исследование внеканального обеспечения соблюдения политик выявило ту же слабость у разных моделей. Оно также показало, что проверки на границе инструмента, в точке, где вызов инструмента агентом достигает системы, на которую он воздействует, предотвратили почти все такие сбои.
Внеканальное обеспечение проверяет правила, которые никогда не должны нарушаться, на отдельном уровне вне модели, где никакой диалог не может их изменить. «Ограждения» (guardrails) — одна из форм этого. Ограждение, которое обнаруживает попытки взлома, должно остановить сообщение фальшивого администратора до того, как агент отреагирует на него. Протестируйте, что произойдет, если сообщение все же пройдет через ограждение, и подтвердите, что политика на границе инструмента все равно блокирует изменение.
Оценивайте весь диалог с доказательствами
Большинство этих тестов — это диалоги, и лучшие из них получаются, когда ваша команда тестирует сценарии использования агента. Когда команда принимает результат тестового диалога, его расшифровка попадает в банк тестов вместе с этим результатом. Банк становится вашим набором для оценки, и вы повторно запускаете каждый диалог из него для каждой новой версии агента. Оценивайте каждый повтор по результату, а не по точному пути, и перезаписывайте диалог, если новая версия обрабатывает его иначе по замыслу.
Когда мы обновили коннектор, который агент использует для доступа к бизнес-системе, повторный запуск банка показал, что обновление исправило некоторые диалоги, но нарушило другие. Мы отложили обновление, потому что оно нарушило диалоги, которые старая версия обрабатывала правильно. Это эквивалентно регрессионному тестированию агентской среды.
Используйте детерминированные проверки везде, где можно выразить ожидаемый результат, и приберегите оценщик на базе модели для того, что можно увидеть только по всему ходу диалога. Этому оценщику нужны те же доказательства, что были у агента. Без результатов работы инструментов он видит номер записи в ответе, не может найти его источник и помечает правильный ответ как выдуманный. Предоставление оценщику результатов работы инструментов решило эту проблему для нас.
Не каждый сбой — вина агента
Неудачный тест может быть вызван настройкой теста или системой, стоящей за инструментами, а не только агентом. Оценщик на базе модели может пропустить ответ при одном запуске и провалить тот же ответ при следующем, а система за инструментами может отклонить запрос по своим собственным причинам.
Помечайте каждый сбой по его причине. Тогда только реальные сбои агента будут учитываться против него, и никому не придется повторно расследовать известную проблему при каждом запуске.
Для одного агента несколько тестов проваливались при каждом запуске, и ни один из них не был виной агента. Система за инструментами скрывала обязательные поля от тестовой учетной записи и просто отклоняла некоторые запросы. Как только мы пометили эти тесты, реальные сбои агента стали очевидны.
Сбой вне агента все равно может стать сбоем агента. Когда вызов инструмента завершается неудачей без четкой ошибки, мы видели, как агенты все равно отвечают выдуманным результатом. Убедитесь, что неудачный вызов инструмента доходит до агента как ошибка, и напишите тесты, которые принудительно вызывают сбой инструмента, чтобы проверить, что ответ сообщает об этом.
Разве человеческого приемочного тестирования недостаточно?
Самое сильное возражение заключается в том, что люди находят то, что важно, а скрипты — нет. Тестировщики-люди действительно замечают то, что пропускают скрипты, например, формулировки, которые никто не планировал, и ответы, которые верны, но бесполезны.
Однако у тестирования только людьми есть ограничения. Тестировщики редко успевают выполнить все запланированные тесты. Инструкции агента также меняются во время тестирования, иногда десятки раз, поэтому ранние и поздние вердикты описывают разных агентов.
Автоматизированные тесты снимают оба ограничения. Повторный запуск не требует времени тестировщика, поэтому весь банк можно прогонять при каждом изменении. Изменение, которое нарушает принятый диалог, обнаруживается в момент внесения этого изменения.
Повторные запуски также превращают успешный тест в доказательство. В ходе нашего тестирования агент проходил тест при одном запуске и проваливал его при следующем без каких-либо изменений, поэтому единичный успех мало что доказывает. Тест, который продолжает проходить успешно на протяжении многих запусков и при каждом изменении агента, показывает, что агент ведет себя одинаково каждый раз. Эта история, накопленная в процессе разработки агента, является основанием для предоставления ему прав на запись.
Используйте оба подхода как этапы создания агента. Начните с того, что люди тестируют его сценарии использования, и добавляйте каждый принятый ими диалог в банк тестов. Как только банк покроет основные сценарии, позвольте автоматизированным оценкам перезапускать его после каждого изменения и привлекайте людей для каждой новой функции. Версионируйте каждое изменение в инструкциях агента, чтобы каждый результат содержал указание версии, которая проходила тестирование.
Что с этим делать
Начните с одного вопроса для вашей команды. Если ваш агент сообщил пользователю, что внес изменения, могут ли ваши тесты это подтвердить?
Прежде чем предоставить права на запись, убедитесь, что:
- Каждый тест, вносящий изменения, проверяет систему учета, а не только ответ.
- Тесты на отказ включают пользователя, который настаивает на своем, а правила, которые никогда не должны нарушаться, принудительно соблюдаются вне модели.
- Оценщик видит результаты работы инструмента, а не только ответы.
- Банк тестов перезапускается после каждого изменения агента.
Redpanda Agentic Data Plane записывает то, что необходимо для этих проверок, сохраняя стенограммы с каждым вызовом инструмента и результатом для каждого диалога. Его AI Gateway обеспечивает соблюдение правил вне основного потока с помощью Amazon Bedrock Guardrails или моделей защиты, предоставляемых платформой, таких как NVIDIA NIM и IBM Granite Guardian. Политики на границе инструмента отклоняют вызов, нарушающий правило, независимо от того, как об этом просит пользователь.
Проверяйте записи перед предоставлением прав на запись
По мере того как агенты берут на себя все больше изменений, которые сегодня выполняют люди, ваши тесты должны определять, что именно может изменять каждый агент. Чтобы увидеть доказательства, которые могут считать ваши тесты, начните с раздела «Посмотрите, что сделал ваш агент» в документации Redpanda Agentic Data Plane.
Продолжайте обучение
- [Блог] Разбираемся в оценках для AI-агентов
- [Статья]
- [Блог] Агентному ИИ нужно управление, которое он не сможет игнорировать
- [Документация] Посмотрите, что сделал ваш агент












