/)
Агенты быстро стали частью технологического ландшафта, поскольку организации внедряют искусственный интеллект во всех сферах бизнеса. Но внедрение агентов также означает следование лучшим практикам мониторинга, которые уже давно стали частью рабочих процессов инженеров: отслеживание производительности, обнаружение ошибок и реагирование на инциденты.
Но на этом все не заканчивается. Агенты также привносят новые проблемы. Они могут давать разные ответы на один и тот же вопрос, уверенно заблуждаться без генерации ошибок и превращать один запрос в длинную цепочку вызовов моделей и инструментов, которую трудно отлаживать. Небольшое изменение промпта может изменить поведение так же сильно, как и развертывание кода. А поскольку агенты действуют на основе прочитанного, они открывают дверь для новых рисков, таких как инъекции промптов и утечки конфиденциальных данных.
Здесь предстоит многое узнать, и именно поэтому мы создали функцию Agent Observability, которая теперь общедоступна в составе нашего растущего набора возможностей с поддержкой ИИ в Grafana Cloud. Она улучшает ваших агентов, помогая вашим командам:
- Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и затраты, а также углубляйтесь в отдельные диалоги, когда что-то идет не так.
Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и затраты, а также углубляйтесь в отдельные диалоги, когда что-то идет не так.
- Оценка качества агентов: используйте встроенные или настраиваемые оценщики для измерения качества и обнаружения таких проблем, как PII (персональные данные) или инъекции промптов.
Оценка качества агентов: используйте встроенные или настраиваемые оценщики для измерения качества и обнаружения таких проблем, как PII (персональные данные) или инъекции промптов.
- Тестирование изменений перед релизом: сравнивайте модели, промпты и другие изменения с помощью автономных экспериментов, чтобы выявлять регрессии.
Тестирование изменений перед релизом: сравнивайте модели, промпты и другие изменения с помощью автономных экспериментов, чтобы выявлять регрессии.
- Встраивание оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Встраивание оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Agent Observability появилась в результате решения наших собственных задач по управлению агентами в масштабе, и сегодня мы используем тот же инструмент внутри компании. В этом блоге я отвечу на некоторые из наиболее частых вопросов, которые мы получаем от клиентов.
Все, что вы хотели знать об Agent Observability
Мониторинг, оценка и улучшение агентов
В: Зачем использовать Agent Observability для мониторинга моих агентов?
Агенты — это рабочие нагрузки в продакшене, и им требуется та же видимость, что и сервисам, с которыми они взаимодействуют. Agent Observability работает в Grafana Cloud вместе с вашими метриками, логами, трейсами и профилями, поэтому вы можете определить, исходил ли плохой ответ от модели, промпта или сервиса, к которому обратился агент. Мониторинг, оценки, защитные механизмы (guards) и эксперименты находятся в одном месте, поэтому вам не нужен отдельный инструмент.
В: Могу ли я отслеживать агентов для написания кода?
Да. Интеграции для Claude Code, Codex, Cursor, GitHub Copilot, OpenCode, Pi и других отправляют сеансы в специальное представление «Агенты кодирования», где вы можете отслеживать затраты, токены и использование инструментов по пользователям, репозиториям или веткам. Хотите попробовать это вне Grafana Cloud? Открытое исходное приложение local app сохраняет сеансы на вашем компьютере, учетная запись Grafana не требуется. Дополнительные сведения см. в руководстве по настройке и мониторингу агентов для написания кода.
В: Как узнать, улучшило или ухудшило изменение промпта или модели работу моего агента?
Agent Observability автоматически отслеживает версии агентов по изменениям в системном промпте, позволяя сравнивать качество, стоимость и задержку для разных версий. Чтобы выявлять регрессии до релиза, запускайте эксперименты на основе базовой линии и используйте их в качестве CI-шлюза.
В: Требуют ли оценки наличия судьи LLM?
Нет. Вы можете использовать детерминированные проверки, такие как регулярные выражения или валидация схемы JSON, наряду с судьями LLM, а также комбинировать оба подхода в рамках одной оценки.
В: Могу ли я видеть, как несколько агентов работают вместе?
Да. Каждый диалог показывает карту того, как ваши агенты передают работу друг другу, даже между сервисами. Если вывод одного агента не проходит оценку, вы можете увидеть, какие последующие шаги были затронуты. Инструкции по настройке см. в нашей документации по инструментированию зависимостей и рабочих процессов агентов.
Работа с вашим существующим стеком
В: Могу ли я использовать существующее инструментирование OpenTelemetry?
Да. Agent Observability принимает спаны, которые следуют семантическим соглашениям OpenTelemetry для генеративного ИИ, поэтому вам не нужен SDK Agent Observability. Продолжайте экспортировать данные через Grafana Alloy или ваш OpenTelemetry Collector и включите спаны с помощью одного атрибута ресурса. Для начала работы ознакомьтесь с нашей документацией по инструментированию агентов с помощью OpenTelemetry.
В: Могу ли я создавать собственные дашборды или получать автоматические оповещения, если что-то пойдет не так?
Да. Метрики Agent Observability попадают в Prometheus, поэтому помимо встроенных представлений вы также можете создавать пользовательские дашборды, выполнять специальные запросы и настраивать собственные оповещения о скачках стоимости, нарушениях SLO задержки и многом другом.
Стоимость и ценообразование
В: Могу ли я узнать, что влияет на расходы на агентов и где их можно сократить?
Да. Затраты и использование токенов отслеживаются для каждого агента, модели и диалога, а расходы можно тегировать по командам, проектам или окружениям. Агенты для написания кода также могут детализировать расходы по пользователям, репозиториям или веткам. На основе этого вы можете выявлять вызовы, использующие более дорогую модель, чем необходимо, отслеживать коэффициенты попадания в кэш и сравнивать затраты для разных версий агентов. Дополнительную информацию см. в нашем руководстве по оптимизации затрат и производительности.
В: Как формируется цена на Agent Observability?
Agent Observability тарифицируется по трем отдельным счетчикам: генерации (каждый вызов модели, совершаемый вашим агентом), токены, используемые оценками и защитными механизмами на базе LLM, а также стандартные метрики и трейсы, отправляемые вашими SDK. Бесплатный план и план Pro включают 30 000 генераций и 25 миллионов токенов оценок и защитных механизмов в месяц. Этот лимит токенов общий с другими функциями ИИ в Grafana Cloud. Актуальные расценки см. на странице стоимости Agent Observability.
Безопасность, конфиденциальность и доступ
В: Может ли Agent Observability блокировать нежелательное поведение, а не просто помечать его?
Да. Вы можете создавать защитные механизмы (guards), которые располагаются на пути запроса перед каждым вызовом LLM, используя шаблоны регулярных выражений и обнаружение персональных данных (PII) для перехвата или маскировки конфиденциальных данных еще до того, как модель их увидит. Вы также можете блокировать рискованные вызовы инструментов.
В: Какие данные собираются и могу ли я исключить попадание в них конфиденциального контента?
Agent Observability фиксирует то, что отправляет ваш агент, включая промпты, ответы, вызовы инструментов и использование токенов. SDK может маскировать секреты до экспорта любых данных, а защитные механизмы перехватывают персональные данные до того, как их увидит модель. Агенты для написания кода отправляют только метаданные, если вы явно не разрешите передачу полного содержимого.
В: Могу ли я контролировать, кто видит содержимое диалогов?
Да. Встроенные роли позволяют разделять доступ. Например, роль Data Reader (Чтение данных) отображает аналитику, трейсы и результаты оценки без доступа к диалогам. Каждый стек Grafana Cloud полностью изолирован, поэтому используйте отдельные стеки, когда вам нужны жесткие границы, например, для среды разработки и продакшена.
В: Доступна ли Agent Observability за пределами Grafana Cloud?
Agent Observability для создаваемых вами агентов работает в Grafana Cloud. Для агентов написания кода также существует бесплатное приложение с открытым исходным кодом local app, которое сохраняет сеансы на вашем компьютере без необходимости заводить учетную запись Grafana. Когда вы захотите отслеживать использование таких агентов всей командой, подключите его к Grafana Cloud.
Начните работу с Agent Observability
Agent Observability уже доступна в Grafana Cloud, в том числе в рамках бесплатного тарифа, который включает 30 000 генераций и по 25 миллионов токенов оценки и защитных фильтров каждый месяц. Чтобы начать, создайте бесплатную учетную запись и следуйте нашему руководству по настройке Agent Observability.
Хотите создать нового агента? Grafana AI SDK for Go с открытым исходным кодом предоставляет единый интерфейс для работы с различными провайдерами моделей и подключается к Agent Observability с первого вызова. У вас есть вопрос, который мы не затронули? Задайте его на форумах сообщества Grafana.
