Наблюдаемость корпоративных ИИ-агентов с помощью BigQuery и Looker

По мере того как предприятия переводят ИИ-агентов из экспериментальных прототипов в продакшн, специалисты по работе с данными и разработчики платформ обнаруживают, что развертывание агента — это лишь полдела: вам также необходимо видеть, как он рассуждает, к каким данным обращается и во сколько обходится его запуск. Сегодня мы анонсируем расширенные возможности наблюдения и оценки ИИ-агентов в Google Data Cloud, которые обеспечивают единую видимость для ваших собственных (1P) агентов данных в BigQuery и Looker, а также пользовательских сторонних (3P) агентов, созданных с помощью фреймворков разработки агентов, таких как Agent Development Kit (ADK) или LangGraph.

Ввод в эксплуатацию разговорных и автономных агентов требует решения трех операционных задач: отслеживание многоэтапных рассуждений с одновременной защитой конфиденциальных данных, контроль потребления токенов и затрат на запросы, а также оценка точности ответов до того, как изменения промптов или схем дойдут до пользователей. Давайте рассмотрим, как наши новые возможности наблюдения и оценки агентов помогут вам в этом.

Что нового: наблюдаемость агентов в Data Cloud

Запуск агентов в больших масштабах означает, что вам нужно видеть их производительность, стоимость и выполняемые ими действия. Мы внедряем единый фреймворк телеметрии в Google's Agentic Data Cloud, который работает одинаково для каждого агента: сбор телеметрии от агента, ее сохранение в принадлежащих вам таблицах BigQuery и анализ там, где ваши команды уже работают.

Единый фреймворк наблюдения за агентами, осуществляющий сбор телеметрии логирования от 1P и 3P агентов в BigQuery для получения аналитики производительности и использования в инструментах разработчиков и администраторов.

1. Сбор телеметрии от каждого собственного и пользовательского агента

• Собственные агенты данных: Готовые агенты Conversational Analytics автоматически передают телеметрию без необходимости настройки. Запросы, направляемые агентам данных BigQuery в Gemini Enterprise через рабочие процессы agent-to-agent (A2A) (теперь общедоступны), отправляют метрики Cloud Monitoring, интервалы Cloud Trace и журналы разговоров BigQuery прямо в проект вашего агента.

Собственные агенты данных: Готовые агенты Conversational Analytics автоматически передают телеметрию без необходимости настройки. Запросы, направляемые агентам данных BigQuery в Gemini Enterprise через рабочие процессы agent-to-agent (A2A) (теперь общедоступны), отправляют метрики Cloud Monitoring, интервалы Cloud Trace и журналы разговоров BigQuery прямо в проект вашего агента.

• Пользовательские агенты: Агенты, созданные с помощью ADK или LangGraph, передают ту же структурированную телеметрию в BigQuery с помощью однострочной инструментации SDK.

Пользовательские агенты: Агенты, созданные с помощью ADK или LangGraph, передают ту же структурированную телеметрию в BigQuery с помощью однострочной инструментации SDK.

2. Размещение телеметрии в едином защищенном хранилище в BigQuery

• Журналирование разговоров в BigQuery (общедоступно): Управляемое ведение журналов разговоров 1P записывается в принадлежащие вам таблицы BigQuery, поэтому вы можете изучать трассы Conversational Analytics, включая промпты и ответы, непосредственно в вашем хранилище данных.

Журналирование разговоров в BigQuery (общедоступно): Управляемое ведение журналов разговоров 1P записывается в принадлежащие вам таблицы BigQuery, поэтому вы можете изучать трассы Conversational Analytics, включая промпты и ответы, непосредственно в вашем хранилище данных.

• Управление по умолчанию: API Conversational Analytics, который теперь общедоступен, включает постоянно включенные журналы аудита администратора и необязательные журналы аудита чтения данных в Cloud Audit Logs, а также поддерживает VPC Service Controls, ключи шифрования, управляемые клиентом (CMEK), а также региональное и мультирегиональное размещение данных.

Управление по умолчанию: API Conversational Analytics, который теперь общедоступен, включает постоянно включенные журналы аудита администратора и необязательные журналы аудита чтения данных в Cloud Audit Logs, а также поддерживает VPC Service Controls, ключи шифрования, управляемые клиентом (CMEK), а также региональное и мультирегиональное размещение данных.

3. Анализ с помощью дашбордов везде, где работают ваши команды

• В BigQuery (общедоступно): Мониторинг агентов предоставляет готовые дашборды в BigQuery Studio для отслеживания использования, активных сеансов, основных источников знаний и задержек для агентов BigQuery Conversational Analytics.

В BigQuery (общедоступно): Мониторинг агентов предоставляет готовые дашборды в BigQuery Studio для отслеживания использования, активных сеансов, основных источников знаний и задержек для агентов BigQuery Conversational Analytics.

Дашборд BigQuery Conversational Analytics в BigQuery Studio, предоставляющий администраторам информацию об использовании, активных сеансах, основных источниках знаний и задержках.

• В Looker (общедоступно): Дашборды System Activity для Conversational Analytics, теперь общедоступные в Looker (Google Cloud core) и Looker (исходном), отслеживают взаимодействие и использование токенов, в то время как пользовательские оценки и проверка запросов на вкладке «Ответы и отзывы» находятся в режиме превью.

Дашборд Looker Conversational Analytics в System Activity, предоставляющий администраторам информацию об использовании, потреблении токенов и отзывах пользователей.

• Создайте свой собственный: Создавайте интерактивные отчеты с помощью шаблона с открытым исходным кодом Data Studio template или разверните готовый Looker Block for Agent Analytics для мониторинга пользовательских агентов в реальном времени.

Пользовательский дашборд Data Studio, созданный на основе журналов BigQuery Agent Analytics для отслеживания потребления токенов, задержек и вовлеченности пользователей.

Дашборд Looker Block, созданный на основе телеметрии BigQuery Agent Analytics для мониторинга объемов сеансов, задержек выполнения инструментов и распределения затрат на токены.

Отслеживание рассуждений агентов и защита конфиденциальности

Корпоративная наблюдаемость требует баланса между диагностической телеметрией и строгими границами конфиденциальности данных. Поскольку функции отслеживания связаны с затратами на сбор и хранение, Google Data Cloud разделяет оперативную телеметрию и содержимое разговоров, чтобы администраторы и владельцы агентов могли управлять каждым уровнем независимо.

На уровне проекта или организации администраторы могут включить Cloud Monitoring (совокупные метрики, такие как объем запросов, задержка и использование токенов) и Cloud Trace (пошаговые интервалы для каждого запроса) в своей среде, используя области наблюдаемости Cloud Trace для консолидации телеметрии по нескольким проектам агентов. Для защиты конфиденциальных данных эти операционные метрики и очищенные интервалы трассировки первого лица исключают основной контент клиента (такой как пользовательские промпты, ответы моделей, внутренние мысли и сгенерированный SQL).

Когда вам требуется более глубокий аудит транскриптов, владельцы и редакторы агентов могут подписаться на ведение журналов разговоров для каждого агента индивидуально:

• Регулируемое ведение журналов разговоров в BigQuery: При включении управляемый Google сервисный агент передает пользовательские промпты, ответы и телеметрию на уровне шагов в принадлежащую клиенту таблицу BigQuery (agent_events) через API BigQuery Storage Write, наследуя разрешения IAM вашего набора данных, CMEK и элементы управления VPC Service Controls. Встроенные правила защиты конфиденциальности обеспечивают проверку с прерыванием при ошибке перед каждым шагом — пропуская ведение журнала всякий раз, когда источник знаний использует безопасность на уровне строк, теги политик на уровне столбцов или динамическое маскирование данных, — в то время как выполнение с продолжением при ошибке обеспечивает бесперебойную работу чат-сессий ваших пользователей в случае возникновения ошибки ведения журнала.

Регистрация управляемых разговоров в BigQuery: При включении управляемый Google сервисный агент передает пользовательские запросы, ответы и телеметрию на уровне ходов в таблицу BigQuery, принадлежащую клиенту (agent_events), через API BigQuery Storage Write, наследуя разрешения IAM, CMEK и VPC Service Controls вашего набора данных. Встроенные средства защиты конфиденциальности выполняют проверку с прерыванием при ошибке перед каждым ходом — пропуская ведение журнала, когда любой источник знаний использует безопасность на уровне строк, теги политики на уровне столбцов или динамическое маскирование данных, — в то время как выполнение с продолжением при ошибке гарантирует, что сеансы чата ваших пользователей не прервутся в случае возникновения ошибки ведения журнала.

• Полные деревья трассировки для пользовательских агентов сторонних производителей (3P): В то время как ведение журналов разговоров собственных агентов (1P) намеренно исключает низкоуровневые аргументы инструментов и внутренний SQL, разработчики, создающие пользовательские агенты на базе ADK или LangGraph, могут встроить в свой код инструмент с открытым исходным исходным кодом ADK plugin (BigQueryAgentAnalyticsPlugin). Настроив его одной строкой, SDK начинает передавать полные деревья выполнения вызовов инструментов, телеметрию временных рядов и мультимодальные полезные данные прямо в BigQuery.

Полные деревья трассировки для пользовательских агентов сторонних производителей (3P): В то время как ведение журналов разговоров собственных агентов (1P) намеренно исключает низкоуровневые аргументы инструментов и внутренний SQL, разработчики, создающие пользовательские агенты на базе ADK или LangGraph, могут встроить в свой код инструмент с открытым исходным исходным кодом ADK plugin (BigQueryAgentAnalyticsPlugin). Настроив его одной строкой, SDK начинает передавать полные деревья выполнения вызовов инструментов, телеметрию временных рядов и мультимодальные полезные данные прямо в BigQuery.

• Анализ первопричин и смещения в хранилище: Поскольку журналы разговоров попадают непосредственно в вашу таблицу agent_events, вам не нужны отдельные конвейеры экспорта для диагностики сбоев. Вы можете запускать функции BigQuery AI (такие как AI.GENERATE для суммирования шаблонов ошибок и AI.EMBED с VECTOR_SEARCH для кластеризации повторяющихся проблем) или использовать Python SDK bigquery-agent-analytics с открытым исходным кодом и стартовый блокнот Colab для апостериорной семантической кластеризации смещения и анализа настроений с помощью LLM-как-судьи.

Анализ первопричин и смещения в хранилище: Поскольку журналы разговоров попадают непосредственно в вашу таблицу agent_events, вам не нужны отдельные конвейеры экспорта для диагностики сбоев. Вы можете запускать функции BigQuery AI (такие как AI.GENERATE для суммирования шаблонов ошибок и AI.EMBED с VECTOR_SEARCH для кластеризации повторяющихся проблем) или использовать Python SDK bigquery-agent-analytics с открытым исходным кодом и стартовый блокнот Colab для апостериорной семантической кластеризации смещения и анализа настроений с помощью LLM-как-судьи.

Управление расходами на токенов с помощью средств защиты FinOps

По мере роста внедрения агентов команды FinOps и платформенные команды нуждаются в четком представлении об использовании наряду с активными элементами управления для предотвращения бесконтрольных расходов. Учитывая акционные цены на пробный период, которые в настоящее время доступны для Conversational Analytics, сейчас самое подходящее время для установления базовых показателей использования и средств контроля затрат:

• Детальное отслеживание токенов и задержки: В журналах разговоров BigQuery каждый ход фиксирует количество входных, выходных, мыслительных, кэшированных и общих токенов наряду с общей задержкой хода, в то время как отчеты Looker System Activity сообщают обestimated количестве входных и выходных токенов для всех ваших рабочих нагрузок бизнес-аналитики (BI).

Детальное отслеживание токенов и задержки: В журналах разговоров BigQuery каждый ход фиксирует количество входных, выходных, мыслительных, кэшированных и общих токенов наряду с общей задержкой хода, в то время как отчеты Looker System Activity сообщают обestimated количестве входных и выходных токенов для всех ваших рабочих нагрузок бизнес-аналитики (BI).

• Готовые панели мониторинга наблюдаемости: Вы можете отслеживать прогнозируемое использование токенов и вовлеченность на вкладке BigQuery Studio Monitoring и в нативных панелях мониторинга Looker System Activity или запрашивать данные журналов agent_events с помощью BigQuery SQL, используя семистраничный шаблон отчета Data Studio с открытым исходным кодом и размещенное самостоятельно приложение Streamlit в репозитории BigQuery Agent Analytics на GitHub.

Готовые панели мониторинга наблюдаемости: Вы можете отслеживать прогнозируемое использование токенов и вовлеченность на вкладке BigQuery Studio Monitoring и в нативных панелях мониторинга Looker System Activity или запрашивать данные журналов agent_events с помощью BigQuery SQL, используя семистраничный шаблон отчета Data Studio с открытым исходным кодом и размещенное самостоятельно приложение Streamlit в репозитории BigQuery Agent Analytics на GitHub.

• Активные ограничения на выполнение запросов и расходы на токены: Чтобы предотвратить непредвиденные расходы до их возникновения, вы можете настроить для своего агента ограничения на сканирование байтов BigQuery на один запрос (big_query_max_billed_bytes), которые используют предварительные оценки (dry-run) для блокировки слишком больших запросов без взимания платы за сканирование по запросу. Для BigQuery и Conversational Analytics API вы также можете применять ежедневные квоты входных и выходных токенов (в режиме предварительного просмотра) для каждого проекта, пользователя или агента в консоли Google Cloud и CLI gcloud.

Активные ограничения на выполнение запросов и расходы на токены: Чтобы предотвратить непредвиденные расходы до их возникновения, вы можете настроить для своего агента ограничения на сканирование байтов BigQuery на один запрос (big_query_max_billed_bytes), которые используют предварительные оценки (dry-run) для блокировки слишком больших запросов без взимания платы за сканирование по запросу. Для BigQuery и Conversational Analytics API вы также можете применять ежедневные квоты входных и выходных токенов (в режиме предварительного просмотра) для каждого проекта, пользователя или агента в консоли Google Cloud и CLI gcloud.

Оценка и бенчмаркинг ваших ИИ-агентов

Наблюдаемость во время выполнения работает в паре с систематической оценкой. В то время как журналы и трассировки показывают, как агент вел себя в рабочей среде, контрольные тесты (бенчмарки) проверяют, улучшают ли обновления ваших промптов, моделей или схем данных точность SQL и качество ответов до того, как пользователи столкнутся с ухудшением работы:

• Тестирование производительности с помощью Prism: Наш инструмент оценки с открытым исходным кодом Prism позволяет тестировать агентов Conversational Analytics на основе таблиц BigQuery или Looker Explores через Conversational Analytics API с использованием многократно используемых наборов тестов, утверждений на основе регулярных выражений и обнаружения агентов в нескольких регионах (развертываемых за уровнем доступа, таким как Cloud IAP).

Тестирование производительности с помощью : Наш инструмент оценки с открытым исходным кодом Prism позволяет тестировать агентов Conversational Analytics на основе таблиц BigQuery или Looker Explores через Conversational Analytics API с использованием многократно используемых наборов тестов, утверждений на основе регулярных выражений и обнаружения агентов в нескольких регионах (развертываемых за уровнем доступа, таким как Cloud IAP).

• Единая оценка и производственная аналитика: Prism может передавать завершенные запуски оценки непосредственно в таблицы BigQuery, разбитые по дням, в вашем проекте, помещая ваши оценки перед развертыванием прямо рядом с вашими производственными журналами agent_events для сравнительного анализа в BigQuery и Looker.

Единая оценка и производственная аналитика: Prism может передавать завершенные запуски оценки непосредственно в таблицы BigQuery, разбитые по дням, в вашем проекте, помещая ваши оценки перед развертыванием прямо рядом с вашими производственными журналами agent_events для сравнительного анализа в BigQuery и Looker.

• Встроенные оценки BigQuery: Первоклассные оценки агентов в BigQuery (созданные на базе службы оценки Gemini Enterprise Agent Platform с поддержкой использования собственного сервисного аккаунта) доступны в предварительной версии через API и интерактивный блокнот Colab.

Встроенные оценки BigQuery: оценки агентов собственной разработки в BigQuery (созданные на базе службы оценки Gemini Enterprise Agent Platform с поддержкой пользовательских сервисных аккаунтов) доступны в режиме предварительной версии через API и интерактивный блокнот Colab.

Начало работы

Готовы обеспечить прозрачность, управление и контроль затрат для своих ИИ-агентов? Вот как начать работу в три шага:

• Включите системную наблюдаемость агентов собственной разработки. Активируйте Cloud Monitoring и Cloud Trace в своем проекте, подключите ведение логов диалогов для каждого агента, используя руководство по мониторингу агентов BigQuery, а также отслеживайте потребление токенов BI с помощью обзора Looker Conversational Analytics и документации по системной активности Looker.

Включите системную наблюдаемость агентов собственной разработки. Активируйте Cloud Monitoring и Cloud Trace в своем проекте, подключите ведение логов диалогов для каждого агента, используя руководство по мониторингу агентов BigQuery, а также отслеживайте потребление токенов BI с помощью обзора Looker Conversational Analytics и документации по системной активности Looker.

• Интегрируйте пользовательских агентов и разверните аналитические дашборды. Добавьте BigQuery Agent Analytics SDK в своих агентов на базе ADK или LangGraph, запустите шаблон отчета Data Studio с открытым исходным кодом или приложение Streamlit и изучите анализ логов внутри хранилища данных с помощью стартового блокнота Colab.

Интегрируйте пользовательских агентов и разверните аналитические дашборды. Добавьте BigQuery Agent Analytics SDK в своих агентов на базе ADK или LangGraph, запустите шаблон отчета Data Studio с открытым исходным кодом или приложение Streamlit и изучите анализ логов внутри хранилища данных с помощью стартового блокнота Colab.

• Проводите бенчмаркинг агентов и настраивайте ограничения затрат. Запустите автоматизированные наборы тестов точности с помощью , а также настройте лимиты сканирования байтов в BigQuery и ежедневные квоты токенов в разделе управления затратами BigQuery для агентов.

Проводите бенчмаркинг агентов и настраивайте ограничения затрат. Запустите автоматизированные наборы тестов точности с помощью , а также настройте лимиты сканирования байтов в BigQuery и ежедневные квоты токенов в разделе управления затратами BigQuery для агентов.

• Анализ данных
• ИИ и машинное обучение
• BigQuery