/)
Агенты быстро стали частью технологического ландшафта, поскольку организации внедряют искусственный интеллект в свой бизнес. Но внедрение агентов также означает следование лучшим практикам мониторинга, которые уже давно стали частью рабочих процессов инженеров: отслеживание производительности, обнаружение ошибок и реагирование на инциденты
Но на этом все не заканчивается. Агенты также приносят с собой новые проблемы. Они могут давать разные ответы на один и тот же вопрос, уверенно заблуждаться без возникновения ошибок и превращать один запрос в длинную цепочку вызовов моделей и инструментов, которую трудно отлаживать. Небольшое изменение промпта может изменить поведение так же сильно, как и развертывание кода. А поскольку агенты действуют на основе того, что они читают, они открывают путь к новым рискам, таким как инъекции промптов и утечка конфиденциальных данных.
Здесь предстоит многое узнать, и именно поэтому мы создали функцию Agent Observability, которая теперь общедоступна в составе нашего растущего набора возможностей с поддержкой ИИ в Grafana Cloud. Она улучшает ваши агенты, помогая вашим командам решать следующие задачи:
- Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и затраты, а также детально изучайте отдельные диалоги при возникновении проблем.
Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и затраты, а также детально изучайте отдельные диалоги при возникновении проблем.
- Оценка качества агентов: используйте встроенные или пользовательские средства оценки для измерения качества и обнаружения таких проблем, как PII или инъекции промптов.
Оценка качества агентов: используйте встроенные или пользовательские средства оценки для измерения качества и обнаружения таких проблем, как PII или инъекции промптов.
- Тестирование изменений перед релизом: сравнивайте модели, промпты и другие изменения с помощью офлайн-экспериментов для выявления регрессий.
Тестирование изменений перед релизом: сравнивайте модели, промпты и другие изменения с помощью офлайн-экспериментов для выявления регрессий.
- Внедрение оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Внедрение оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Agent Observability выросла из наших собственных трудностей при управлении агентами в масштабе, и это тот же инструмент, который мы сегодня используем внутри компании. В этом блоге я отвечу на некоторые из наиболее частых вопросов, которые мы получаем от клиентов.
Все, что вы хотели знать об Agent Observability
Мониторинг, оценка и улучшение агентов
В: Зачем использовать Agent Observability для мониторинга моих агентов?
Агенты — это рабочие нагрузки в продакшене, и им требуется та же видимость, что и сервисам, с которыми они взаимодействуют. Agent Observability работает в Grafana Cloud вместе с вашими метриками, логами, трейсами и профилями, поэтому вы можете определить, была ли плохая ошибка вызвана моделью, промптом или сервисом, к которому обратился агент. Мониторинг, оценки, защитные барьеры и эксперименты находятся в одном месте, поэтому вам не нужен отдельный инструмент.
В: Могу ли я отслеживать работу агентов для написания кода?
Да. Интеграции для Claude Code, Codex, Cursor, GitHub Copilot, OpenCode, Pi и других отправляют сеансы в специальное представление Coding agents, где вы можете отслеживать затраты, токены и использование инструментов по пользователям, репозиториям или веткам. Хотите сначала попробовать это вне Grafana Cloud? Открытое приложение local app сохраняет сеансы на вашем компьютере, учетная запись Grafana не требуется. Дополнительные сведения см. в руководстве по настройке и мониторингу агентов для написания кода.
В: Как узнать, улучшило или ухудшило мое приложение изменение промпта или модели?
Agent Observability автоматически отслеживает версии агентов на основе изменений в системном промпте, что позволяет сравнивать качество, стоимость и задержку для разных версий. Чтобы выявлять регрессии до выпуска, запускайте эксперименты на основе базового уровня и используйте их в качестве CI-шлюза.
В: Требуют ли оценки наличия судьи на базе LLM?
Нет. Вы можете использовать детерминированные проверки, такие как регулярные выражения или валидация схемы JSON, наряду с судьями на базе LLM, а также комбинировать их в рамках одной оценки.
В: Могу ли я посмотреть, как несколько агентов работают вместе?
Да. В каждом диалоге отображается схема того, как ваши агенты передают работу друг другу, даже между сервисами. Если вывод одного агента не проходит оценку, вы можете увидеть, какие последующие шаги были затронуты. Инструкции по настройке см. в нашей документации по инструментированию зависимостей и рабочих процессов агентов.
Работа с вашим текущим стеком
В: Могу ли я использовать существующее инструментирование OpenTelemetry?
Да. Agent Observability принимает спаны, соответствующие семантическим конвенциям генеративного ИИ OpenTelemetry, поэтому вам не нужен SDK Agent Observability. Продолжайте выгрузку через Grafana Alloy или ваш OpenTelemetry Collector и подключите свои спаны с помощью одного атрибута ресурса. Для начала работы обратитесь к нашей документации по инструментированию агентов с помощью OpenTelemetry.
В: Могу ли я создавать собственные дашборды или получать автоматические оповещения при возникновении проблем?
Да. Метрики Agent Observability поступают в Prometheus, поэтому помимо встроенных представлений вы можете создавать пользовательские дашборды, выполнять специальные запросы и настраивать собственные оповещения о скачках расходов, превышении SLO по задержке и многом другом.
Стоимость и ценообразование
В: Могу ли я узнать, чем обусловлены расходы на агентов и где их можно сократить?
Да. Затраты и использование токенов отслеживаются для каждого агента, модели и диалога, а расходы можно помечать тегами по командам, проектам или окружениям. Агенты для написания кода также могут детализировать данные по пользователям, репозиториям или веткам. На основе этого вы можете выявлять вызовы, использующие более дорогую модель, чем необходимо, отслеживать показатели попаданий в кэш и сравнивать стоимость для разных версий агентов. Дополнительную информацию см. в нашем руководстве по оптимизации затрат и производительности.
В: Как формируется цена на Agent Observability?
Agent Observability тарифицируется по трем отдельным метрикам: генерации (каждый вызов модели, совершаемый вашим агентом), токены, используемые оценками и защитными барьерами на базе LLM, а также стандартные метрики и трейсы, отправляемые вашими SDK. Бесплатный план (Free) и план Pro включают 30 000 генераций и 25 миллионов токенов оценки и защиты ежемесячно. Этот лимит токенов общий с другими функциями искусственного интеллекта в Grafana Cloud. Актуальные расценки см. на странице цен на Agent Observability.
Безопасность, конфиденциальность и доступ
В: Может ли Agent Observability блокировать нежелательное поведение, а не просто помечать его?
Да. Вы можете создавать защитные барьеры, располагающиеся на пути запроса перед каждым вызовом LLM, используя шаблоны регулярных выражений и обнаружение PII для перехвата или маскирования конфиденциальных данных до того, как их увидит модель. Вы также можете блокировать рискованные вызовы инструментов.
В: Какие данные собираются и могу ли я защитить конфиденциальный контент от попадания в них?
Agent Observability фиксирует то, что отправляет ваш агент, включая промпты, ответы, вызовы инструментов и использование токенов. SDK может маскировать секреты до экспорта любых данных, а защитные барьеры перехватывают PII до того, как модель их увидит. Агенты для написания кода отправляют только метаданные, если вы не разрешите передачу полного контента.
В: Могу ли я контролировать, кто видит содержимое диалогов?
Да. Встроенные роли позволяют разделять уровни доступа. Например, роль Data Reader (Чтение данных) предоставляет доступ к аналитике, трейсам и результатам оценки без доступа к самим диалогам. Каждый стек Grafana Cloud полностью изолирован, поэтому используйте отдельные стеки при необходимости строгого разделения, например для сред разработки и продакшена.
В: Доступна ли Agent Observability за пределами Grafana Cloud?
Agent Observability для создаваемых вами агентов работает в Grafana Cloud. Для агентов для написания кода также предусмотрено бесплатное приложение с открытым исходным кодом local app, которое хранит сеансы на вашем компьютере без необходимости заводить учетную запись Grafana. Когда вам потребуется отслеживать использование агентов для написания кода всей командой, подключите его к Grafana Cloud.
Начните работу с Agent Observability
Agent Observability доступна в Grafana Cloud уже сегодня, в том числе в рамках бесплатного тарифа, который включает 30 000 генераций и 25 миллионов токенов оценки и защитных фильтров каждый месяц. Чтобы начать работу, создайте бесплатный аккаунт и следуйте нашему руководству по настройке Agent Observability.
Хотите создать нового агента? Open source Grafana AI SDK для Go предоставляет единый интерфейс для различных провайдеров моделей и подключается к Agent Observability с первого вызова. У вас есть вопрос, который мы не затронули? Задайте его на форумах сообщества Grafana.
/)
/)
/)
/)
/)