Представьте себе картину: перед обзором бизнеса руководством ваш вице-президент по продажам спрашивает ИИ-ассистента: «Какова была чистая выручка по нашим ключевым корпоративным клиентам в прошлом квартале?» Через несколько секунд агент выдает красивый график! К сожалению, цифры не совпадают с финансовым отчетом. Почему? Потому что агент посчитал отмененные заказы как выручку и взял данные из невалидированной промежуточной таблицы.
Агент потерпел неудачу не из-за модели и не из-за того, что не смог перевести вопрос пользователя в запрос. Он ошибся, потому что не понял ваш бизнес. Самое интересное, что это понимание обычно уже существует в виде семантической модели в системах Looker, dbt, Snowflake, Databricks или SAP. Но поскольку каждое определение заперто в рамках собственного инструмента, каждый агент гадает… и часто ошибается.
Здесь на помощь приходит Knowledge Catalog. Он объединяет семантические модели из всех этих инструментов в единый граф контекста, благодаря чему все агенты используют одни и те же проверенные определения. А когда два инструмента по-разному определяют одну и ту же метрику, оба определения отображаются вместе со своим происхождением, чтобы дата-стюарды могли разрешить конфликт до того, как он дойдет до конечных пользователей.
Сегодня мы объявляем ообщедоступности (GA) расширенной поддержки семантических моделей. Knowledge Catalog теперь нативно загружает семантические модели и определения метрик из Looker LookML, BigQuery Graph (включая показатели BigQuery), dbt MetricFlow, Snowflake Semantic Views, Databricks Metric Views и SAP Core Schema Notation (CSN), а также связывает их со схемой, линейностью, профилями данных, бизнес-глоссарием и другими ключевыми метаданными в едином графе контекста без перемещения данных или переписывания бизнес-логики на новом языке.
Основывая работу ваших ИИ-агентов на этих моделях, вы даете им те же бизнес-определения, на которые полагаются ваши аналитики, поэтому их ответы совпадают с цифрами, которым доверяет ваш бизнес. Фактически, судя по внутренним тестам, привязка агентов к Knowledge Catalog делает их почти в 4 раза точнее, снижает задержку до 33% и сокращает расход токенов до 75%.
Единый граф контекста позволяет вам:
- Повторно использовать семантические модели, которым вы уже доверяете: Knowledge Catalog обеспечивает привязку Gemini agent, BigQuery Conversational Analytics и ваших пользовательских агентов к метрикам, фильтрам и путям соединения, которые ваши команды уже определили, где бы они ни находились.
Повторно использовать семантические модели, которым вы уже доверяете: Knowledge Catalog обеспечивает привязку Gemini agent, BigQuery Conversational Analytics и ваших пользовательских агентов к метрикам, фильтрам и путям соединения, которые ваши команды уже определили, где бы они ни находились.
- Выйти за рамки созданных вручную определений с помощью самообучающегося контекста: Knowledge Catalog объединяет четко определенные метрики и определения KPI в ваших семантических моделях с релевантным контекстом, извлеченным из неструктурированных источников знаний, таких как операционные руководства, заметки встреч, цепочки чатов, код и многое другое. Самообучающееся обогащение на базе Gemini непрерывно находит недостающий или устаревший контекст и превращает его в управляемые, пригодные для повторного использования наборы контекста, гарантируя, что контекст ваших агентов остается актуальным по мере изменения определений, без опоры только на ручное курирование.
Выйти за рамки созданных вручную определений с помощью самообучающегося контекста: Knowledge Catalog объединяет четко определенные метрики и определения KPI в ваших семантических моделях с релевантным контекстом, извлеченным из неструктурированных источников знаний, таких как операционные руководства, заметки встреч, цепочки чатов, код и многое другое. Самообучающееся обогащение на базе Gemini непрерывно находит недостающий или устаревший контекст и превращает его в управляемые, пригодные для повторного использования наборы контекста, гарантируя, что контекст ваших агентов остается актуальным по мере изменения определений, без опоры только на ручное курирование.
- Совместить бизнес-логику с доверием на уровне предприятия: даже правильная формула дает неверный результат, если она применяется к устаревшим или несертифицированным данным. Вот почему Knowledge Catalog может связывать семантические определения с показателями качества данных, сигналами актуальности и линейностью, чтобы агент понимал, чему можно доверять, прежде чем написать строку SQL.
Совместить бизнес-логику с доверием на уровне предприятия: даже правильная формула дает неверный результат, если она применяется к устаревшим или несертифицированным данным. Вот почему Knowledge Catalog может связывать семантические определения с показателями качества данных, сигналами актуальности и линейностью, чтобы агент понимал, чему можно доверять, прежде чем написать строку SQL.
Параллельное сравнение одного и того же вопроса в Gemini без Knowledge Catalog (слева) и с привязкой к Knowledge Catalog (справа). Демонстрирует, что агент с привязкой (справа) дает точный ответ с меньшим расходом токенов и меньшей задержкой по сравнению с агентом без Knowledge Catalog (слева), который галлюцинирует и использует больше токенов с более высокой задержкой.
Единый граф контекста для всей вашей среды данных
Граф контекста, создаваемый Knowledge Catalog, представляет собой связанную карту вашей среды данных и семантики: таблицы, семантические модели, термины глоссария и продукты данных являются узлами; линейность, ассоциации, ключи схем, соединения, извлеченные из реальной истории запросов, и пути соединения, объявленные в ваших семантических моделях, являются ребрами. Загруженная семантика попадает в этот же граф рядом с уже существующими сигналами управления и использования, поэтому агент переходит от бизнес-концепции к проверенной формуле и проверенным путям соединения за один обход. Каждый источник добавляет свой собственный взгляд на ваш бизнес:
- Looker LookML (GA): индексирует модели, исследования (explores), представления (views) и панели мониторинга с помощью синхронизации в реальном времени (Live sync) из Looker Core, фиксируя скомпилированный SQL метрик, безопасные для разветвления условия соединения, обязательные фильтры и линейность от исходных таблиц до управленческих панелей мониторинга.
Looker LookML (GA): индексирует модели, исследования (explores), представления (views) и панели мониторинга с помощью синхронизации в реальном времени (Live sync) из Looker Core, фиксируя скомпилированный SQL метрик, безопасные для разветвления условия соединения, обязательные фильтры и линейность от исходных таблиц до управленческих панелей мониторинга.
- BigQuery Graph (GA): индексирует собственные определения графов свойств, таблицы узлов и ребер, графовые показатели и бизнес-синонимы, благодаря чему агенты производмоут логический вывод по связанным сущностям с помощью обходов Graph Query Language (GQL) вместо хрупких самосоединений нескольких таблиц.
BigQuery Graph (GA): индексирует собственные определения графов свойств, таблицы узлов и ребер, графовые показатели и бизнес-синонимы, благодаря чему агенты производмоут логический вывод по связанным сущностям с помощью обходов Graph Query Language (GQL) вместо хрупких самосоединений нескольких таблиц.
- dbt MetricFlow (GA): связывает исходные объекты с моделями dbt и метриками MetricFlow, а также с результатами тестов качества данных dbt, фильтрами, сохраненными запросами, соглашениями об уровне обслуживания (SLA) по свежести данных и downstream-экспозициями.
dbt MetricFlow (GA): связывает исходные объекты с моделями dbt и метриками MetricFlow, а также с результатами тестов качества данных dbt, фильтрами, сохраненными запросами, соглашениями об уровне обслуживания (SLA) по свежести данных и downstream-экспозициями.
- Snowflake Semantic Views через Horizon Catalog (GA): объединяет федеративные таблицы BigQuery или Google Cloud Lakehouse с метаданными Snowflake Horizon, добавляя измерения Semantic View, факты, формулы метрик, отношения и синонимы, а также оценочные листы качества Data Metric Function и теги маскирования PII.
- Databricks Metric Views через Unity Catalog (GA): извлекает определения представлений метрик, формулы мер, фильтры области видимости и кардинальности соединений из Unity Catalog, а также значки сертификации таблиц и результаты профилирования Lakehouse Monitoring.
- SAP Core Schema Notation (CSN) через SAP Business Data Cloud (BDC) (GA): фиксирует бизнес-метки, паттерны моделирования измерений и кубов, агрегации по умолчанию, привязки валют и единиц измерения, ассоциации ключевых и составных соединений, а также флаги конфиденциальности данных при федерации продуктов данных SAP BDC через Google Cloud Lakehouse.
SAP Core Schema Notation (CSN) через SAP Business Data Cloud (BDC) (GA): фиксирует бизнес-метки, паттерны моделирования измерений и кубов, агрегации по умолчанию, привязки валют и единиц измерения, ассоциации ключевых и составных соединений, а также флаги конфиденциальности данных при федерации продуктов данных SAP BDC через Google Cloud Lakehouse.
Поскольку каждый источник попадает в виде узла или ребра в один и тот же граф, соединение LookML, воздействие dbt, отношение Snowflake или ассоциация SAP доступны для обхода бок о бок, а ссылки связывают каждое из них с физическими таблицами, от которых оно зависит. И ничто не перезаписывается молча: перекрывающиеся определения остаются рядом друг с другом, каждое с указанием своего источника, предоставляя дата-стюардам полную картину, необходимую для выбора единой версии.
Навигация по семантическим моделям, путям соединения и происхождению на контекстном графе в Knowledge Studio.
Вы можете исследовать все это и управлять этим в Knowledge Studio (предварительная версия), вашем командном центре для изучения и управления контекстом. Исследуйте свой контекстный граф, включая семантические определения, с помощью запросов на естественном языке и обходите пути соединений с помощью холста контекстного графа. Затем, после проверки нужных активов и определений, вы можете упаковать их в многоразовые контекстные наборы, которые сопоставляются с конкретными вариантами использования и доменами в вашей организации и которые Gemini и пользовательские агенты могут использовать в рабочей среде.
Начало работы
Вернемся к вопросу о чистой выручке. С помощью Knowledge Catalog агент вице-президента по продажам выполняет один контекстный запрос для обнаружения доверенного актива, применяя ту самую формулу метрики и фильтры, которые определили ваши эксперты предметной области, причем все это с соблюдением ключей соединения в разных системах и подтверждением того, что базовые данные прошли проверки качества. И что еще лучше, цифры в отчете правильные!
Чтобы начать работу, изучите свой контекстный граф в Knowledge Studio и обратитесь к документации Knowledge Catalog для подключения дополнительных источников.
- Аналитика данных
