Анализ неструктурированных данных в BigQuery с помощью ObjectRef

Для команд data science, инженеров данных и специалистов по машинному обучению раскрытие ценности неструктурированных данных, таких как изображения, видео, аудио и документы, исторически означало управление разрозненными конвейерами данных для структурированных и неструктурированных данных, а также для аналитики и сценариев использования ИИ/МО. Даже когда файлы остаются в Cloud Storage, запуск инференса требует от команд организации внешних рабочих нагрузок машинного обучения, сталкиваясь при этом со сложной и хрупкой задачей интеграции этих структурированных результатов инференса обратно в хранилище данных для анализа. Это постфактум-объединение данных создает значительные операционные накладные расходы и несоответствие баз данных.

ObjectRef и мультимодальная аналитика данных в BigQuery теперь доступны в рамках общей доступности (GA), что превращает BigQuery в комплексную мультимодальную агентную платформу данных.

С помощью ObjectRef BigQuery естественным образом стирает грань между Cloud Storage и вашим аналитическим движком. Вы можете представлять неструктурированные данные в виде нативных столбцов ObjectRef прямо рядом с вашими традиционными реляционными столбцами. Это дает колоссальное преимущество перед автономными API моделей, позволяя передавать мультимодальные входы из нескольких столбцов непосредственно моделям Gemini в одном SQL-запросе или запросе на естественном языке с использованием разговорной аналитики. Интеграция ObjectRef с BigQuery AI, разговорной аналитикой в BigQuery и Gemini Enterprise позволяет легко комбинировать файлы Cloud Storage с богатым контекстом структурированной базы данных, метаданными, метками времени и пользовательскими инструкциями для агентов.

Теперь вы можете использовать ключевые преимущества BigQuery (полностью бессерверные вычисления, низкую совокупную стоимость владения и встроенный крупномасштабный инференс) для создания, запуска и управления мощными конвейерами перехода от неструктурированных данных к структурированным, от неструктурированных к неструктурированным и полностью мультимодальным конвейерам без отдельных кластеров вычислений. Что особенно важно, извлеченные признаки и аннотации можно напрямую объединять с самим неструктурированным объектом, сохраняя ObjectRef в той же строке. Использование этих объединенных данных непосредственно в разговорной аналитике и агентах ИИ позволяет избежать потери нюансов данных и контекста, которая обычно происходит, когда клиенты преобразуют неструктурированные файлы исключительно в структурированные форматы. Клиенты уже используют этот подход для генерации вложений для мультимодального векторного поиска, выполнения масштабной классификации с использованием генеративного ИИ и точного извлечения данных и признаков из обширных архивов документов и мультимедиа — и все это с помощью стандартного SQL.

ObjectRef привносит структуру в неструктурированное

ObjectRef — это встроенный предопределенный тип данных STRUCT, который указывает на объекты за пределами BigQuery.

Сохраняя эти указатели в исходном виде в стандартных таблицах BigQuery рядом с традиционными столбцами, BigQuery рассматривает неструктурированные файлы как первоклассные объекты данных. Кроме того, эта архитектура поддерживает независимые жизненные циклы данных: ваши данные GCS и таблицы BigQuery могут изменяться независимо друг от друга, не влияя на базовые данные в другой системе.

Этот подход обслуживает различные роли пользователей данных, предлагая мощные преимущества:

• Архитектура с нулевым копированием: храните ваши мультимедийные файлы большого объема в безопасности в Cloud Storage и запрашивайте их мгновенно в BigQuery, соблюдая гравитацию данных и избегая дорогостоящего дублирования данных.
• Интероперабельность SQL и Python: вы можете запрашивать неструктурированные данные с помощью стандартного SQL или фреймворков BigQuery DataFrames. Что еще более важно, вы можете передавать ObjectRef в пользовательские функции (UDF) Python в BigQuery, что позволяет использовать библиотеки Python с открытым исходным кодом, такие как OpenCV, непосредственно для ваших данных для выполнения пользовательской логики без их перемещения.
• Независимые жизненные циклы и версионирование: ObjectRefs обеспечивают воспроизводимость инференса путем отслеживания конкретных номеров генерации GCS. Если базовый файл GCS изменяется, ваш запрос все равно может ссылаться на точную версию файла, которая существовала при записи строки.
• Унифицированное управление: вы можете защищать, аудировать и совместно использовать доступ как к структурированным столбцам, так и к связанным с ними неструктурированным файлам, используя существующие политики безопасности и элементы управления IAM в BigQuery.

Создавайте ETL-процессы с полной достоверностью с помощью SQL

С момента запуска ObjectRef в предварительной версии среди наших пользователей сформировался мощный и высокоэффективный паттерн: создание конвейеров ETL с полной достоверностью исключительно с помощью SQL.

Команды используют бессерверную архитектуру BigQuery для интеграции ИИ/МО непосредственно в свои среды данных, исключая необходимость в отдельных вычислительных кластерах для обработки перемещения данных и инференса. Управление неструктурированными данными в GCS в качестве стандартных столбцов BigQuery позволяет пользователям применять лучшие практики инженерии данных, такие как создание идеопотентных конвейеров, обеспечение воспроизводимости и выполнение бесшовных замен (backfills), непосредственно к изображениям, видео, аудио и документам.

После тщательной подготовки данных команды используют Gemini в BigQuery для выполнения надежных ETL-процессов. Они открывают возможности двухуровневой аналитики путем извлечения признаков и аннотирования неструктурированных данных, сохраняя при этом исходный ObjectRef закрепленным в той же строке. Структурированные результаты обеспечивают быструю фильтрацию, отчетность и панели мониторинга BI, в то время как прикрепленные неструктурированные объекты остаются доступными для глубокого анализа с учетом контекста. Например, вы можете извлечь оценки тональности и теги тем из архива записей звонков клиентов, чтобы быстро пометить счета повышенного риска на панели мониторинга BI (структурированный уровень). Одновременно агент разговорной аналитики, оценивающий процессы эскалации, может беспрепятственно обращаться к исходным аудиофайлам для анализа взаимодействия абонента и сотрудника службы поддержки, предотвращая потерю критически важных нюансов, которая обычно происходит в конвейерах ETL при переходе от неструктурированных данных к структурированным.

Проверенные варианты использования от лидеров индустрии

«В Snap безопасность нашего сообщества является главным приоритетом, и мы стремимся ограничить воздействие на пользователей контента, нарушающего наши Правила сообщества. Мы регулярно просматриваем образцы публичных публикаций, и благодаря использованию ObjectRef с BigQuery AI мы перешли от простого случайного отбора к стратифицированному отбору после выборки. Этот переход повысил эффективность процессов проверки человеком, позволив нам перенаправить высвободившиеся ресурсы на новые и расширенные рабочие процессы, которые еще больше повышают нашу способность обнаруживать потенциально вредный контент и бороться с ним». — Карлос Ортиз (Carlos Ortiz), специалист по работе с данными, Snap

На этапе предварительного просмотра мы увидели внедрение в различных критически важных рабочих нагрузках. Клиенты успешно перевели эти экспериментальные конвейеры в производство, превратив неструктурированные данные в полезные структурированные аналитические данные:

• Модерация контента: онлайн-платформы используют BigQuery для интеграции мультимедийных ресурсов со стандартными данными телеметрии в единый конвейер для кардинального улучшения результатов модерации и безопасности.

Модерация контента: онлайн-платформы используют BigQuery для интеграции мультимедийных ресурсов со стандартными данными телеметрии в единый конвейер для кардинального улучшения результатов модерации и безопасности.

• Проактивное обнаружение угроз: команды корпоративной безопасности используют BigQuery для анализа визуальных и структурных компонентов веб-сайтов наряду с сетевыми журналами, обеспечивая критически важные достижения в проактивном выявлении угроз.

Проактивное обнаружение угроз: команды корпоративной безопасности используют BigQuery для анализа визуальных и структурных компонентов веб-сайтов наряду с сетевыми журналами, что обеспечивает критически важные улучшения в проактивной идентификации угроз.

• Контроль соответствия товарных запасов: интернет-ритейлеры извлекают текст и контекст непосредственно из обширных хранилищ изображений для автоматического выявления проблем соответствия нормативным требованиям или бренду в больших масштабах.

Контроль соответствия товарных запасов: интернет-ритейлеры извлекают текст и контекст непосредственно из обширных хранилищ изображений для автоматического выявления проблем соответствия нормативным требованиям или бренду в больших масштабах.

• Пользовательский опыт: ориентированные на обслуживание компании анализируют аудиовзаимодействия между агентами поддержки и клиентами с помощью BigQuery AI для оценки настроения клиентов и улучшения качества обслуживания.

Пользовательский опыт: ориентированные на обслуживание компании анализируют аудиовзаимодействия между агентами поддержки и клиентами с помощью BigQuery AI для оценки настроения клиентов и улучшения качества обслуживания.

Новое в релизе GA

Мы оптимизировали работу разработчиков для релиза General Availability, сосредоточившись на поддержке широкого спектра пользовательских сценариев:

• Гибкая аутентификация:

Гибкая аутентификация:

• В релизе GA мы представили поддержку учетных данных конечного пользователя (EUC) для ObjectRefs. Теперь пользователи могут быстро запрашивать неструктурированные данные и изучать их, используя свою личную IAM-идентичность напрямую для специального анализа.

В релизе GA мы представили поддержку учетных данных конечного пользователя (EUC) для ObjectRefs. Теперь пользователи могут быстро запрашивать неструктурированные данные и изучать их, используя свою личную IAM-идентичность напрямую для специального анализа.

• На этапе предварительной версии запросы к неструктурированным файлам требовали настройки явных подключений BigQuery для ObjectRefs. Хотя эти подключения по-прежнему полностью поддерживаются и рекомендуются в качестве передового опыта для надежных производственных конвейеров на основе служебных аккаунтов, мы понимаем, что они требуют дополнительной настройки.

На этапе предварительной версии запросы к неструктурированным файлам требовали настройки явных подключений BigQuery для ObjectRefs. Хотя эти подключения по-прежнему полностью поддерживаются и рекомендуются в качестве передового опыта для надежных производственных конвейеров на основе служебных аккаунтов, мы понимаем, что они требуют дополнительной настройки.

• Единая поддержка метаданных Cloud Storage: мы знаем, что метаданные ваших неструктурированных данных хранятся в самых разных местах Google Cloud. Теперь ObjectRef изначально поддерживает весь спектр этих источников. Независимо от того, где в данный момент находятся ваши метаданные — в таблицах объектов BigQuery, наборах данных аналитики Cloud Storage или просто в виде строковых URI в стандартных таблицах BigQuery — вы можете легко создавать ObjectRefs и управлять ими для анализа лежащих в их основе данных.

Единая поддержка метаданных Cloud Storage: мы знаем, что метаданные ваших неструктурированных данных хранятся в самых разных местах Google Cloud. Теперь ObjectRef изначально поддерживает весь спектр этих источников. Независимо от того, где в данный момент находятся ваши метаданные — в таблицах объектов BigQuery, наборах данных аналитики Cloud Storage или просто в виде строковых URI в стандартных таблицах BigQuery — вы можете легко создавать ObjectRefs и управлять ими для анализа лежащих в их основе данных.

• Поддержка массивов для сравнительной аналитики: мы внедрили встроенную поддержку обработки ObjectRefs, содержащихся в массивах. Это открывает совершенно новые классы рабочих нагрузок, такие как сравнение нескольких документов друг с другом, анализ последовательностей изображений или объединение элементов в пакеты в рамках одного семантического вызова.

Поддержка массивов для сравнительной аналитики: мы внедрили встроенную поддержку обработки ObjectRefs, содержащихся в массивах. Это открывает совершенно новые классы рабочих нагрузок, таких как сравнение нескольких документов друг с другом, анализ последовательностей изображений или объединение элементов в пакеты в рамках одного семантического вызова.

Посмотрите в действии: сквозная мультимодальная аналитика

Чтобы продемонстрировать возможности этих обновлений GA, давайте рассмотрим, как создавать реальные мультимодальные конвейеры с помощью наших оптимизированных операторов SQL.

1. Полнофункциональный ETL: анализ звонков в колл-центр

Раньше анализ звонков в службу поддержки требовал перемещения аудиофайлов в специализированные кластеры транскрипции и обработки естественного языка. С помощью ObjectRef вы можете анализировать аудиофайлы, извлекать структурированную бизнес-аналитику и добавлять их напрямую в качестве стандартных реляционных столбцов.

Используйте функцию GA OBJ.MAKE_REF() для автоматического определения аудиоформата из исходной строки URI и управляемые функции ИИ BigQuery для хорошо известных вариантов использования. Например, вы можете использовать AI.CLASSIFY() для классификации типов звонков клиентов. По умолчанию BigQuery использует оптимизированный режим для функций ИИ, чтобы сократить количество потребляемых токенов.

Эта таблица может служить мультимодальным источником данных для агента разговорной аналитики BigQuery. Агент преобразует запросы на естественном языке в SQL с помощью функций BigQuery AI для анализа аудиофайлов, когда требуется дополнительная информация.

2. Масштабная фильтрация с помощью генеративного ИИ: соответствие продуктов требованиям

Инженерам данных часто требуется фильтровать огромные наборы данных на основе содержимого изображений или документов. Вместо запуска тяжелых генеративных запросов и синтаксического анализа текстовых выводов теперь вы можете использовать декларативный оператор AI.IF() прямо вместе со стандартным SQL в предложениях WHERE. Режим оптимизации по умолчанию снижает количество потребляемых токенов для дальнейшей оптимизации рабочих нагрузок.

3. Многообъектное рассуждение: проактивное обнаружение угроз

Благодаря встроенной поддержке массивов в GA вы теперь можете передавать массив ObjectRefs в один вызов Gemini для одновременного анализа нескольких файлов с помощью Gemini.

Это открывает возможности для сложной сравнительной логики прямо в SQL. Например, команда безопасности может одновременно передать в Gemini снимок экрана своей официальной страницы входа и снимок экрана недавно обнаруженной подозрительной веб-страницы для масштабного обнаружения попыток фишинга:

Начните анализ уже сегодня

BigQuery ObjectRef теперь доступен для всех редакций BigQuery и ценовых категорий по требованию.

Если вы в настоящее время управляете сложной фрагментированной инфраструктурой только для выполнения вывода машинного обучения по файлам Cloud Storage, пришло время объединить ресурсы. Перенесите ИИ непосредственно в свое хранилище. Начните использовать существующие практики инженерии данных для создания надежных, масштабируемых и безопасных мультимодальных аналитических конвейеров непосредственно в BigQuery.

Чтобы начать работу с ObjectRef и мультимодальной аналитикой, ознакомьтесь со следующими ресурсами:

• Пройдите наше практическое руководство по созданию подписей к изображениям и назначению категорий продуктов с использованием синтетических данных.
• Посмотрите живые демонстрации с Cloud Next об объединении неструктурированных и структурированных данных, а также о генерации текста с помощью LLM и выполнении векторного поиска.
• Узнайте, как работать с ObjectRef, в документации BigQuery.
• Аналитика данных
• BigQuery