Starburst Enterprise добавляет инкрементные материализованные представления Iceberg, улучшает скорость запросов и повышает интеллектуальные возможности

Сегодня мы рады объявить о выпуске Starburst Enterprise 482-e LTS. Этот релиз подтверждает нашу постоянную приверженность открытым стандартам lakehouse, внедряет нативные оптимизации производительности для материализованных представлений, расширяет возможности мониторинга платформы для ИИ и обеспечивает значительные улучшения подключения к федеративным и временным источникам данных.

В совокупности релиз 482-e вносит значительные улучшения в следующих областях:

• Инновации Icehouse: Запланированные инкрементные обновления только для добавления данных для материализованных представлений Iceberg и поддержка Iceberg REST Catalog с улучшенными учетными данными в Starburst Metastore.
• Производительность движка и оптимизация запросов: На 10% более быстрое время выполнения запросов на основе внутренних тестов, меньшая задержка и поддержка ускорения протокола PyStarburst Arrow, а также Queries Exceeding RAM для предотвращения сбоев Out of Memory (OOM) в публичном предварительном просмотре.
• Интеллект платформы и AIDA: Мониторинг потребления токенов для администраторов ИИ, расширенные возможности OAuth для внешних серверов Model Context Protocol (MCP) и Data Product Enrichment v2.
• Расширенная открытая подключаемость: Общедоступность коннекторов Great Lakes и OpenSearch, а также публичный предварительный просмотр поддержки коннекторов OpenAPI и kdb+.

Icehouse продвигается вперед с инкрементными материализованными представлениями

Starburst продолжает укреплять свой статус идеальной основы для рабочих нагрузок Apache Iceberg. В релизе 482-e LTS мы сосредоточились на устранении накладных расходов на повторный расчет предварительно вычисляемых продуктов данных и расширении интероперабельности каталогов.

Инкрементные материализованные представления Iceberg

Теперь в публичном предварительном просмотре Starburst Enterprise предоставляет инкрементные обновления для материализованных представлений Iceberg, предназначенных только для добавления. Ранее обновление материализованного представления Iceberg требовало полного повторного выполнения запросов над историческими наборами данных, что создавало непомерно большие окна обновления и высокие вычислительные затраты.

Теперь администраторы могут планировать обновления только для добавления с использованием incremental_column в любом источнике, доступном для запросов Trino, или определять их напрямую через продукты данных, не развертывая отдельную службу кэширования. Обрабатывая только новые добавленные строки, инженеры данных могут значительно сократить окна обновления и устранить основной технический барьер при миграции устаревших конвейеров Hive в Apache Iceberg.

Открытый доступ к Iceberg REST для Starburst Metastore

Теперь в публичном предварительном просмотре Starburst Metastore (ранее Starburst Data Catalog) добавляет нативную поддержку спецификации open Iceberg REST Catalog со всеми функциями, включая управляемые учетные данные, токены в стиле PAT и поддержку идентификации для Okta и Ping Identity. Команды, стандартизирующиеся на открытой спецификации Iceberg REST, теперь могут использовать Starburst Metastore в качестве единого каталога для внешних запросных движков и сторонних инструментов, что снижает количество интеграций, специфичных для каталога, и затраты на обслуживание коннекторов.

Прорывы в производительности движка и оптимизации представлений

Релиз 482-e LTS основан на обновлениях основного движка выполнения, что позволяет улучшить скорость на 10% на основе внутренних тестов, снизить задержку и прозрачно обрабатывать сложные запросы. Эта итерация еще больше повышает скорость, уже ассоциируемую с нашим запросным движком, обеспечивая улучшенные результаты для клиентов.

Запросы, превышающие объем оперативной памяти

Для предотвращения сбоев Out of Memory (OOM) при выполнении массовых запросов мы расширяем поддержку нашего режима выполнения с устойчивостью к нехватке памяти, основанного на объектном хранилище и/или локальном дисковом уровне в встроенном BufferService. Этот режим позволяет большим запросам превышать доступный объем оперативной памяти, снижая при этом временные штрафы Fault-Tolerant Execution (FTE). Эта функция находится в публичном предварительном просмотре.

Протокол PyStarburst Arrow

Теперь протокол спулирования может быть настроен для использования сериализации Apache Arrow вместе с новыми методами PyStarburst. Теперь в публичном предварительном просмотре это позволяет Python-клиентам и специалистам по данным получать результаты запросов в параллельном формате данных и передавать фрагменты Arrow напрямую в инструменты Python для науки о данных без декодирования, что делает получение результатов до 7 раз быстрее.

Улучшенный интеллект платформы с AIDA

Релиз 482-e внедряет важные возможности видимости, безопасности и контекста для Starburst AIDA.

AIDA Studio, навыки и мониторинг токенов

Теперь поддерживаемая в 482-e, AIDA Studio предоставляет сворачиваемую боковую панель с настраиваемыми инструментами непосредственно в чат-сессиях. Кроме того, AIDA Skills вступает в публичный предварительный просмотр, внедряя гранулярный контроль доступа, чтобы пользователи, не являющиеся системными администраторами, могли создавать инструкции и кодифицировать институциональные знания. Для управления затратами администраторы получают специальную страницу потребления токенов в навигации Starburst Enterprise Admin, которая обеспечивает видимость тенденций использования в пользовательских временных диапазонах вплоть до отдельных пользователей.

Расширение OAuth для внешнего сервера MCP

Переходя в публичный предварительный просмотр, внешний сервер Model Context Protocol (MCP) AIDA теперь поддерживает расширенные OAuthстандарты аутентификации, включая OAuth Client ID/Secret и OAuth PKCE. Команды AI-платформы могут безопасно подключать AIDA к более широкому спектру сторонних корпоративных систем для выполнения сложных рабочих процессов, основанных на корпоративном контексте.

Агент обогащения продуктов данных v2

Теперь в публичном предварительном просмотре обновленный агент обогащения продуктов данных позволяет специалистам по данным создавать готовый для ИИ контекст за несколько минут. Объединяя предоставленные пользователем описания области применения и бизнес-правила с активным выборочным выбором данных, а не полагаясь исключительно на исходные определения схемы метастора, агент автоматически генерирует более качественные метаданные для продуктов данных.

Расширенная экосистема открытых коннекторов

Starburst Enterprise 482-e расширяет федеративный доступ к унифицированным форматам озерных хранилищ, системам временных рядов и конечным точкам SaaS.

• Коннектор Great Lakes (GA): Единый коннектор, охватывающий форматы таблиц Hive, Iceberg и Delta Lake. Организации могут выполнять запросы к смешанным форматам таблиц через один коннектор, что сокращает разрастание каталогов и накладные расходы на обслуживание.
• Коннектор OpenAPI (публичный предварительный просмотр): Выполняйте запросы к любой системе REST, описанной в OpenAPI, с использованием стандартного SQL, не ожидая создания пользовательских коннекторов. Укажите коннектору файл спецификации OpenAPI, чтобы превратить такие SaaS-платформы, как Jira, GitHub и Datadog, в запросные таблицы.
• Коннектор kdb+ (публичный предварительный просмотр): Команды рынков капитала и квантовых технологий теперь могут нативно выполнять федеративные запросы к временным рядам данных kdb+ без потери точности выполнения.
• Коннектор OpenSearch (GA): Обновлен до GA с поддержкой многополевого pushdown и прокручиваемой пагинации для больших наборов результатов, что обеспечивает федерацию производственного класса для аналитики журналов и рабочих нагрузок SIEM.

Критические изменения и изменения конфигурации, нарушающие работу

Этот релиз включает несколько критических архитектурных изменений и обновлений конфигурации, которые требуют внимания перед развертыванием. Просмотрите полную техническую документацию, чтобы обеспечить стабильность кластера во время процесса обновления.

Удаление поддержки устаревшего упакованного HMS и облачного объектного хранилища

• Изображение службы Hive Metastore удалено: Изображение службы Hive Metastore (HMS), упакованное Starburst, и Helm-чарт starburst-hive были полностью удалены после прекращения поддержки в 480-e. Организации должны мигрировать в Starburst Metastore перед обновлением.
• Устаревшие системы хранения файлов в облаке: Поддержка устаревшего объектного хранилища Hadoop (io.trino.hdfs.s3.TrinoS3FileSystem и fs.hadoop.enabled=true для облачного хранилища) была полностью удалена из коннекторов Delta Lake, Hive и Iceberg. Каталоги, использующие устаревшие свойства конфигурации hive.s3.*, hive.azure.* или hive.gcs.*, не смогут запуститься. Перейдите на fs.native-s3.enabled=true, fs.native-azure.enabled=true или fs.native-gcs.enabled=true.

Устаревшие коннекторы и их удаление

• Удаление JDBC-коннектора Snowflake: Коннектор snowflake_jdbc был удалён в пользу snowflake_parallel. Кроме того, аутентификация на основе пароля в коннекторе Snowflake устарела и будет удалена в ноябре 2026 года в LTS-релизе в пользу аутентификации на основе ключей.
• Alluxio Exchange и файловая система: Поддержка хранилища обмена, основанного на Alluxio, для отказоустойчивого выполнения и файловой системы Alluxio в коннекторах Delta, Hive, Hudi и Iceberg была удалена.
• Кэширование файловой системы на уровне узла: Кэширование файловой системы больше не настраивается внутри свойств каталога (fs.cache.*). Все конфигурации кэша должны быть перенесены в свойства на уровне узла через cache-manager.config-files в config.properties.
• Переименование свойства Starburst Data Catalog: Starburst Data Catalog был переименован в Starburst Metastore. Свойства, начинающиеся с catalog.* (например, catalog.enabled), устарели и были переименованы в metastore.* (например, metastore.enabled).

Обратное неявное преобразование CHAR и VARCHAR

Поведение неявного преобразования между типами CHAR и VARCHAR было обращено вспять. Значение CHAR теперь преобразуется в VARCHAR с обрезкой пробелов в конце, и сравнения следуют семантике VARCHAR без заполнения пробелами. Чтобы сохранить устаревшее поведение до ноября LTS-релиза, администраторы должны явно установить deprecated.legacy-varchar-to-char-coercion=true в своей конфигурации.

Обновитесь до Starburst Enterprise 482-e LTS сегодня

Релиз 482-e LTS знаменует собой определяющий сдвиг в том, как современные предприятия управляют, контролируют и масштабируют свои хранилища данных. Внедряя автоматическую замену материализованных представлений, инкрементную обработку Iceberg и нативную высокую доступность Control Plane, команды платформы получают возможность работать с многокластерными архитектурами с абсолютной производительностью и устойчивостью.

Чтобы начать планирование вашего развертывания:

• Просмотрите полные примечания к релизу 482-e LTS здесь.
• Ознакомьтесь с нашей документацией по AI и AIDA здесь.
• Прочитайте наши последние руководства по коннекторам и миграции здесь.