Агенты быстро стали частью технологического ландшафта, поскольку организации внедряют ИИ во всех сферах своего бизнеса. Но внедрение агентов также означает принятие лучших практик мониторинга, которые уже давно стали частью рабочих процессов инженеров: отслеживание производительности, обнаружение ошибок и реагирование на инциденты.
Но на этом все не заканчивается. Агенты также приносят с собой новые проблемы. Они могут давать разные ответы на один и тот же вопрос, уверенно заблуждаться без генерации ошибок и превращать один запрос в длинную цепочку вызовов моделей и инструментов, которую трудно отлаживать. Небольшое изменение промта может изменить поведение так же сильно, как и развертывание кода. А поскольку агенты действуют на основе прочитанного, они открывают дверь для новых рисков, таких как инъекции промтов и утечка конфиденциальных данных.
В этом предстоит многое узнать, и именно поэтому мы создали Agent Observability (теперь общедоступный) в рамках нашего растущего набора функций с поддержкой ИИ в Grafana Cloud. Этот инструмент улучшает ваших агентов, помогая вашим командам решать следующие задачи:
- Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и расходы, а также углубляйтесь в отдельные беседы, когда что-то идет не так.
Мониторинг производительности и затрат: отслеживайте задержки, ошибки, использование токенов и расходы, а также углубляйтесь в отдельные беседы, когда что-то идет не так.
- Оценка качества агентов: используйте встроенные или пользовательские оценщики для измерения качества и обнаружения таких проблем, как утечка персональных данных (PII) или инъекции промтов.
Оценка качества агентов: используйте встроенные или пользовательские оценщики для измерения качества и обнаружения таких проблем, как утечка персональных данных (PII) или инъекции промтов.
- Тестирование изменений перед релизом: сравнивайте модели, промты и другие изменения с помощью автономных экспериментов для выявления регрессий.
Тестирование изменений перед релизом: сравнивайте модели, промты и другие изменения с помощью автономных экспериментов для выявления регрессий.
- Внедрение оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Внедрение оценок в CI/CD: используйте эксперименты в качестве шлюзов развертывания и отслеживайте версии агентов по мере итераций.
Инструмент Agent Observability появился в результате решения наших собственных задач по управлению агентами в больших масштабах, и сегодня мы используем его внутри компании. В этом блоге я отвечу на некоторые из наиболее частых вопросов, которые мы получаем от клиентов.
Все, что вы хотели знать об Agent Observability
Мониторинг, оценка и улучшение агентов
В: Зачем использовать Agent Observability для мониторинга моих агентов?
Агенты представляют собой рабочие нагрузки в продакшене, и им требуется та же видимость, что и сервисам, с которыми они взаимодействуют. Agent Observability работает в Grafana Cloud вместе с вашими метриками, логами, трейсами и профилями, поэтому вы можете определить, исходил ли плохой ответ от модели, промта или сервиса, вызванного агентом. Мониторинг, оценки, защитные барьеры и эксперименты находятся в одном месте, поэтому вам не нужен отдельный инструмент.
В: Могу ли я отслеживать агентов для написания кода?
Да. Интеграции для Claude Code, Codex, Cursor, GitHub Copilot, OpenCode, Pi и других отправляют сессии в специальное представление Coding agents, где вы можете отслеживать затраты, токены и использование инструментов по пользователям, репозиториям или веткам. Хотите попробовать это вне Grafana Cloud? Открытое приложениеlocal app сохраняет сессии на вашем компьютере, учетная запись Grafana не требуется. Дополнительные сведения см. в разделе настройки и мониторинга агентов для кодинга.
В: Как узнать, улучшило или ухудшило мое изменение промта или модели агента?
Agent Observability автоматически отслеживает версии агентов на основе изменений системного промта, позволяя сравнивать качество, стоимость и задержку для разных версий. Чтобы выявлять регрессии перед релизом, запускайте эксперименты на основе базовой линии и используйте их в качестве шлюза CI.
В: Требуют ли оценки использования LLM-судьи?
Нет. Вы можете использовать детерминированные проверки, такие как регулярные выражения или валидация JSON-схемы, наряду с LLM-судьями, комбинируя оба подхода в одной оценке.
В: Могу ли я увидеть, как несколько агентов работают вместе?
Да. Каждая беседа отображает карту того, как ваши агенты передают работу друг другу, даже между сервисами. Если вывод одного агента не проходит оценку, вы можете увидеть, какие последующие шаги были затронуты. Ознакомьтесь с нашей документацией по инструментированию зависимостей и рабочих процессов агентов для настройки.
Работа с вашим текущим стеком
В: Могу ли я использовать существующее инструментирование OpenTelemetry?
Да. Agent Observability принимает спаны, соответствующие семантическим соглашениям OpenTelemetry для генеративного ИИ, поэтому вам не нужен SDK Agent Observability. Продолжайте экспортировать данные через Grafana Alloy или OpenTelemetry Collector и включите свои спаны с помощью одного атрибута ресурса. Ознакомьтесь с нашей документацией по инструментированию агентов с помощью OpenTelemetry, чтобы начать работу.
В: Могу ли я создавать собственные дашборды или получать автоматические оповещения, если что-то пойдет не так?
Да. Метрики Agent Observability попадают в Prometheus, поэтому помимо встроенных представлений вы можете создавать собственные дашборды, выполнять нерегламентированные запросы, а также настраивать собственные оповещения о скачках затрат, нарушении SLO задержки и многом другом.
Стоимость и ценообразование
В: Могу ли я узнать, чем обусловлены затраты на моих агентов и где их можно сократить?
Да. Затраты и использование токенов отслеживаются для каждого агента, модели и разговора, а расходы можно размечать по командам, проектам или окружениям. Для агентов кодинга также доступна детализация по пользователям, репозиториям или веткам. На основе этого вы можете выявлять вызовы, использующие более дорогую модель, чем необходимо, отслеживать показатели попаданий в кэш и сравнивать затраты между версиями агентов. Дополнительную информацию см. в нашем руководстве по оптимизации затрат и производительности.
В: Как формируется цена на Agent Observability?
Agent Observability тарифицируется по трем отдельным метрикам: генерации (каждый вызов модели, совершаемый вашим агентом), токены, используемые оценками и защитными барьерами на базе LLM, а также стандартные метрики и трейсы, отправляемые вашими SDK. Бесплатный тарифный план и план Pro включают 30 000 генераций и 25 миллионов токенов для оценок и защитных барьеров ежемесячно. Этот лимит токенов общий с другими функциями ИИ в Grafana Cloud. Актуальные расценки см. на странице стоимости Agent Observability.
Безопасность, конфиденциальность и доступ
В: Может ли Agent Observability блокировать нежелательное поведение, а не просто помечать его?
Да. Вы можете создавать защитные барьеры, которые располагаются на пути запроса перед каждым вызовом LLM, используя шаблоны регулярных выражений и обнаружение персональных данных (PII) для перехвата или маскирования конфиденциальных данных до того, как их увидит модель. Вы также можете блокировать рискованные вызовы инструментов.
В: Какие данные собираются, и могу ли я исключить из них конфиденциальный контент?
Agent Observability фиксирует то, что отправляет ваш агент, включая промты, ответы, вызовы инструментов и использование токенов. SDK может маскировать секреты до экспорта данных, а защитные барьеры перехватывают персональные данные до того, как их увидит модель. Агенты кодинга отправляют только метаданные, если вы явно не выберете отправку полного содержимого.
В: Могу ли я контролировать, кто имеет доступ к содержимому разговоров?
Да. Встроенные роли позволяют разграничить доступ. Например, роль Data Reader отображает аналитику, трейсы и результаты оценки без доступа к беседам. Каждый стек Grafana Cloud полностью изолирован, поэтому используйте отдельные стеки, когда вам нужны строгие границы, например для разделения сред разработки и продакшна.
В: Доступен ли Agent Observability за пределами Grafana Cloud?
Инструмент Agent Observability для создаваемых вами агентов работает в Grafana Cloud. Для агентов кодинга также существует бесплатное приложение с открытым исходным кодомlocal app, которое сохраняет сеансы на вашем компьютере без необходимости создания учетной записи Grafana. Когда вы захотите отслеживать использование агентов кодинга в масштабах всей команды, подключите его к Grafana Cloud.
Начните работу с Agent Observability
Agent Observability уже доступна в Grafana Cloud, в том числе в бесплатном тарифе, который включает 30 000 генераций и 25 миллионов токенов оценки и защитных фильтров ежемесячно. Чтобы начать, создайте бесплатную учетную запись и следуйте нашему руководству по настройке Agent Observability.
Хотите создать нового агента? Grafana AI SDK для Go с открытым исходным кодом предоставляет единый интерфейс для различных поставщиков моделей и подключается к Agent Observability с первого вызова. У вас есть вопрос, который мы не затронули? Задайте его нам на форумах сообщества Grafana.
