Индексация метаданных LookML в Knowledge Catalog теперь доступна всем пользователям (GA)

Outbound Product Manager, Google Cloud

Group Outbound Product Manager, Data Cloud

По мере того как компании переходят от экспериментальных прототипов ИИ-агентов к их использованию в рабочей среде, специалисты по работе с данными начинают понимать, что доступ к данным — это не то же самое, что их понимание. Чтобы помочь преодолеть этот разрыв, сегодня мы объявляем о всеобщей доступности (GA) индексации семантического языка LookML в Knowledge Catalog для Looker Core на Google Cloud.

Чтобы точно ответить на сложный бизнес-вопрос, ИИ-агенту необходим контекст: схемы таблиц, происхождение данных, политики управления, бизнес-определения и т. д. Однако контекст не является монолитным; знание того, где находятся данные, сильно отличается от знания того, как рассчитывать по ним метрики. В компаниях часто смешивают широкий организационный контекст (обычно в виде метаданных из структурированных и неструктурированных документов) с детерминированной бизнес-семантикой (точными формулами SQL, путями соединения и правилами фильтрации, которые определяют такие метрики, как чистая выручка или отток клиентов), предполагая, что один каталог данных или инструмент бизнес-аналитики (BI) может одновременно решать задачи поиска активов в масштабе всей компании и точного расчета метрик.

В действительности ни один отдельный инструмент не может справиться со всей нагрузкой для агентного ИИ, поскольку корпоративным агентам требуются как организационный контекст, так и детерминированная бизнес-семантика. В средах Google Cloud эти задачи решаются с помощью Knowledge Catalog и LookML:

• Широкий корпоративный контекст с помощью Knowledge Catalog: агентам необходим унифицированный граф контекста, который агрегирует метаданные из структурированных таблиц и неструктурированных документов. С помощью Knowledge Catalog агенты обнаруживают активы, проверяют качество данных, отслеживают сквозное происхождение, учитывают теги конфиденциальности на уровне столбцов и отображают корпоративные документы политик. Граф контекста сообщает агенту, какие данные существуют, как они регулируются и как они связаны.
• Детерминированная математическая семантика с помощью LookML: то, что каталог не создает самостоятельно, — это способ вычисления чисел. Описание таблицы — это не то же самое, что определение того, как соединяются таблицы или как рассчитываются метрики. Язык моделирования Looker, LookML, кодирует проверенную в производственных условиях семантическую логику — средства защиты соединений с несколькими уровнями детализации, условные фильтры и точные формулы KPI, — чтобы агенты не угадывали математику SQL во время выполнения.

Благодаря этой встроенной интеграции бизнес-логика LookML, которая лежит в основе вашей надежной отчетности BI, автоматически индексируется в Knowledge Catalog, предоставляя Gemini Enterprise и пользовательским ИИ-агентам как возможности поиска в масштабе всей компании, так и детерминированную семантику BI.

Почему графу контекста необходима детерминированная семантика

Когда агент LLM подключается напрямую к «сырым» таблицам базы данных — даже если он вооружен базовыми описаниями таблиц или бизнес-глоссарием, — ему все равно приходится выводить математические связи на лету. Без явных семантических правил агенты регулярно попадают в две ловушки:

• Искажение определений метрик: стандартные агенты для преобразования текста в SQL могут изобретать противоречивые формулы для базовых ключевых показателей эффективности, таких как чистая выручка или стоимость привлечения клиента, не применяя специфичные для предметной области правила бухгалтерского учета (например, признание выручки только тогда, когда order_status = 'Complete', или пропорциональное распределение годовых контрактов по дням активного обслуживания).
• Наибое веерное соединение: сложные схемы часто содержат отношения «один ко многим» (1:N) и «ноль ко многим» (0:N) между счетами, позициями заказа и возвратами. Без предварительно смоделированных отношений соединения и правил симметричной агрегации сгенерированный агентом SQL может умножать строки и завышать финансовые итоги.

Knowledge Catalog и Looker решают эту проблему вместе, позволяя вам выполнить моделирование один раз в LookML и получить доступ к этой семантике повсеместно в экосистеме ИИ Google Cloud. Knowledge Catalog применяет семантическую математику, когда эта логика определена в инструменте семантического моделирования; LookML предоставляет зрелый, проверенный в производстве язык для определения именно этих математических связей.

Что нового: LookML в Knowledge Catalog

Ранее интеграции с каталогами захватывали лишь поверхностные указатели на уровне файлов и базовые списки панелей мониторинга. В этом релизе детерминированная семантика LookML становится первоклассным уровнем в графе контекста Knowledge Catalog. Агент, который находит метрику в графе, теперь также находит ее точное определение, путь соединения и происхождение, ведущее к исходным таблицам, — в одном месте, под управлением единой системы контроля. Синхронизация всегда включена по умолчанию и не требует никаких действий от конечных пользователей, а благодаря живой синхронизации любое обновление, отправленное в производственный LookML, отображается в Knowledge Catalog практически в реальном времени, поэтому агенты работают с самой свежей бизнес-логикой.

Поскольку эти метаданные по умолчанию индексируются непосредственно в Knowledge Catalog, они сразу же становятся доступны для Gemini Enterprise без пользовательского кода агента или отдельных хранилищ данных каталога. При подключении к Knowledge Catalog Gemini Enterprise использует встроенные функции только для чтения и гибридный поиск для поиска технических схем, бизнес-глоссариев и проиндексированной логики LookML за один шаг, передавая этот богатый контекст непосредственно вашему федеративному коннектору BigQuery для генерации точного SQL. (Для разработчиков, создающих пользовательские агенты, те же наборы контекста также доступны через LookupContext API.)

Knowledge Catalog теперь собирает и связывает следующие уровни сущностей в Looker Core на Google Cloud:

• Модели LookML (looker-model): фиксирует описательные метаданные, маршрутизацию подключений к базе данных, иерархии include, теги проверки данных (assert) и родительско-дочерние EntryLinks, связывающие модели с сопутствующими Explores, Views и панелями мониторинга LookML.
• Области исследования LookML (looker-explore): индексирует полную реляционную логику соединения (тип, sql_on, кардинальность отношений, такую как защита от веерного расширения many_to_one, foreign_key, required_joins и sql_where) в качестве отношений Schema-Join. Он также фиксирует обязательные защитные фильтры (always_filter, access_filter), унаследованные измерения и меры, а также предопределенные начальные запросы, которые помогают агентам и аналитикам преодолеть проблему холодного старта.
• Представления и поля LookML (looker-view): извлекает скомпилированные выражения LookML SQL на уровне столбцов (например, ${total_revenue} / NULLIF(${count}, 0)), первичные ключи, временные шкалы групп измерений, синонимы полей и логику трансформации производных таблиц (включая SQL и нативные производные таблицы, ключи секционирования и ключи кластеризации).
• Панели мониторинга, отчеты Looks и плитки (looker-dashboard, looker-dashboard-element, looker-look): каталогизирует как созданные через пользовательский интерфейс, так и определенные в LookML панели мониторинга и плитки визуализации, включая фильтры панелей мониторинга, типы диаграмм, владельцев и статистику использования. Пользователи в Knowledge Catalog могут просматривать происхождение на уровне таблиц и столбцов от базовых таблиц BigQuery вплоть до отдельных плиток панелей мониторинга, что позволяет инженерам по обработке данных заблаговременно оценивать изменения схемы до возникновения сбоев.

Looker Core на Google Cloud автоматически индексирует разрешенные модели LookML, Explores, Views, линии связи и панели мониторинга непосредственно в Knowledge Catalog.

Три паттерна для агентов данных

Интеграция LookML в Knowledge Catalog предоставляет Gemini Enterprise (и вашей более широкой экосистеме агентов) единое место для получения как общего организационного контекста и управления из Knowledge Catalog, так и явных математических связей и SQL-определений, созданных в LookML.

Чтобы увидеть эффект от объединения этих двух уровней в Gemini Enterprise, сравните, как три архитектуры обрабатывают сложный кросс-доменный запрос: «Какова была наша общая выручка за прошлый финансовый квартал в разрез по категориям продуктов и какие региональные правила проведения промоакций применяются?»

Паттерн 1: Базовый агент базы данных

Только хранилище данных

Неуправляемый и недетерминированный

Не имеет видимости контроля качества данных, тегов PII или корпоративных документов и вслепую угадывает логику метрик SQL — предполагая стандартный январский финансовый календарь, суммируя незавершенные заказы и раскрывая конфиденциальные персональные данные (PII) клиентов.

Хрупкий и с высоким уровнем риска

Подвержен галлюцинациям схем, терпит неудачу на вопросах, требующих неструктурированного контекста политик, и тратит токены в циклах многошаговой отладки SQL.

Паттерн 2: Агент, опирающийся на контекст

Knowledge Catalog без индексированной семантики

Опирается на контекст, но лишен семантической логики SQL

Обеспечивает соблюдение требований управления Knowledge Catalog и извлекает неструктурированные правила проведения промоакций, но не имеет семантических определений для метрик SQL и связей между таблицами. Такой подход может пропустить условные правила учета (например, order_status = 'Complete') или привести к размножению соединений (join fan-out) в таблицах с разной степенью детализации.

Управляемое обнаружение, несогласованные расчеты

Решает задачи обнаружения ресурсов, соответствия требованиям и неструктурированного контекста, но по-прежнему страдает от расхождений в расчетах типа text-to-SQL и многошаговых повторных попыток выполнения SQL.

Паттерн 3: Агент на основе контекста и семантики

Knowledge Catalog + Looker Core в Google Cloud с индексированным LookML

Управляемый контекст плюс семантические определения SQL

Применяет аспекты управления PII из Knowledge Catalog, извлекает неструктурированные PDF-файлы с правилами и обосновывает SQL точными математическими определениями LookML, проиндексированными в Knowledge Catalog, применяя status = 'Complete', финансовый календарь с мая по июль и предопределенные условия соединения таблиц хранилища.

Точный и эффективный с точки зрения токенов:

Предварительно сопоставленные шаблоны соединений LookML и скомпилированные выражения SQL заменяют догадки, предотвращают размножение соединений, сокращают количество циклов повторного выполнения SQL и позволяют агенту направлять пользователей к релевантным дашбордам и отчетам Explores в Looker.

Когда вы используете паттерн 3 и объединяете Knowledge Catalog с семантическим слоем Looker в корпоративном рабочем процессе агента, агент переходит от угадывания «сырого» SQL к управляемому двухэтапному потоку выполнения:

• Обнаружение контекста и управления в Knowledge Catalog: Прежде чем прикасаться к каким-либо данным, агент выполняет поиск в Knowledge Catalog, проверяет, что модель LookML thelook_ecommerce имеет золотой сертификат, проверяет теги управления на уровне колонок и сопоставляет запрос с точными измерениями и показателями LookML, преобразуя естественный язык в структурированное бизнес-намерение.
• Детерминированное семантическое выполнение: Вместо того чтобы заставлять LLM изобретать SQL «на лету», агент основывает свой SQL на точных математических определениях LookML, проиндексированных в Knowledge Catalog, и возвращает надежные, повторяемые цифры.

Вместе с ответом агент возвращает интерактивную ссылку Open in Looker Explore с предварительно заполненными точными показателями и фильтрами, позволяя пользователям детализировать, сегментировать и изучать построчные элементы в один клик.

Сравнение базового агента, запрашивающего BigQuery напрямую (слева), который угадывает «сырой» SQL и финансовые даты, с агентом, управляемым Knowledge Catalog и Looker (справа), который применяет проиндексированные определения LookML и возвращает интерактивную ссылку "Open in Looker Explore".

Масштабирование агентов для BI и корпоративного сектора

Частый вопрос от лидеров в области работы с данными: «Если мы используем Looker Conversational Analytics, когда нам следует применять корпоративного агента, опирающегося на Knowledge Catalog?»

Эти два инструмента созданы для решения взаимодополняющих задач в масштабах вашей организации:

• Looker Conversational Analytics — ваш специализированный помощник по BI: когда бизнес-пользователи работают внутри рабочих процессов BI и задают вопросы, ограниченные четким набором курированных отчетов Looker Explores, Conversational Analytics обеспечивает немедленное самостоятельное исследование данных и визуализацию прямо в Looker.
• Knowledge Catalog + Looker расширяют возможности ваших общекорпоративных агентов: когда пользователи задают вопросы в Gemini Enterprise в рамках федеративных источников Data Cloud, таких как BigQuery, они часто охватывают структурированные таблицы, метрики BI и неструктурированные документы. Включение Knowledge Catalog в Gemini Enterprise дает помощнику встроенные навыки для динамического обнаружения релевантной семантики в сотнях моделей LookML, передачи индексированных определений соединений LookML, формул метрик SQL и стартовых запросов коннектору BigQuery для предотвращения галлюцинаций соединений, а также для применения централизованных аспектов управления и IAM.

Начало работы

Поскольку Looker Core в Google Cloud, Knowledge Catalog и Gemini Enterprise интегрированы на уровне платформы, вы можете подключить существующую бизнес-логику LookML к вашему корпоративному ИИ-помощнику всего в несколько кликов, без необходимости писать пользовательский код агента.

Чтобы начать обнаружение семантики Looker и заложить основу для агентов:

• Сначала убедитесь, что для Looker Core в Google Cloud включено индексирование метаданных первого уровня. Оно включено по умолчанию для новых экземпляров, плата за хранение технических метаданных Looker не взимается. После включения синхронизация метаданных в Knowledge Catalog всегда активна по умолчанию (как для первичного индексирования, так и для текущих обновлений в реальном времени). Включите Cloud Dataplex API и Data Lineage API в своем проекте и предоставьте пользователям необходимые роли просмотра (roles/dataplex.viewer, roles/looker.schemaViewer и roles/datalineage.viewer), чтобы ваши разрешенные модели LookML, Explores, Views, пути соединений и дашборды автоматически синхронизировались с Knowledge Catalog.
• Включите Knowledge Catalog в Gemini Enterprise. Когда вы подключаете хранилище данных BigQuery (или Spanner, Cloud SQL, AlloyDB) в режиме федеративных запросов к вашему приложению Gemini Enterprise, интеграция с Knowledge Catalog включается автоматически. Вы также можете включить или отключить ее в любое время в консоли Google Cloud, открыв приложение Gemini Enterprise, перейдя в Configurations > Assistant, переведя переключатель Enable Knowledge Catalog в активное положение и нажав Save and publish.
• Задавайте вопросы. Gemini Enterprise подключается к Knowledge Catalog с использованием учетных данных конечного пользователя, что означает, что пользователи обнаруживают и запрашивают только те активы данных, на просмотр которых у них есть разрешения IAM (например, роли roles/bigquery.dataViewer). За кулисами помощник автоматически ищет проиндексированные определения LookML, логику соединений и стартовые запросы в Knowledge Catalog и передает их вашему федеративному коннектору для предоставления точных и управляемых ответов.

Чтобы узнать больше, прочтите документацию Manage Looker Core on Google Cloud with Knowledge Catalog и узнайте, как подключиться к Knowledge Catalog в Gemini Enterprise (Connect to Knowledge Catalog in Gemini Enterprise). Чтобы создать более кастомизированное решение, изучите наш практический лабораторный практикум по созданию агента ADK на GitHub (hands-on ADK agent codelab on GitHub).

• Бизнес-аналитика
• Анализ данных