Starburst Enterprise представляет инкрементальные материализованные представления Iceberg, повышение скорости запросов и расширенные возможности ИИ

Сегодня мы рады объявить о выпуске Starburst Enterprise 482-e LTS. Этот релиз ускоряет выполнение наших обязательств по поддержке открытых стандартов lakehouse, внедряет нативные оптимизации производительности для материализованных представлений, расширяет возможности наблюдаемости платформы для ИИ и обеспечивает значительный прирост возможностей подключения к федеративным источникам данных и источникам временных рядов.

В совокупности версия 482-e вносит существенные улучшения в следующих областях:

• Инновации Icehouse: Плановые инкрементальные обновления (только добавление данных) для материализованных представлений Iceberg и поддержка Iceberg REST Catalog с расширенными учетными данными в Starburst Metastore.

• Производительность движка и оптимизация запросов: Ускорение выполнения запросов на 10% согласно внутренним тестам, снижение задержек, поддержка ускорения протокола PyStarburst Arrow, а также функция «Queries Exceeding RAM» (запросы, превышающие объем ОЗУ) для предотвращения сбоев по нехватке памяти (OOM) в рамках публичного превью.

• Интеллектуальные возможности платформы и AIDA: Мониторинг потребления токенов для ИИ-администраторов, расширенные возможности OAuth для внешних серверов Model Context Protocol (MCP) и Data Product Enrichment v2.

• Расширенная открытая связность: Общая доступность (GA) коннекторов Great Lakes и OpenSearch, а также публичное превью поддержки коннекторов OpenAPI и kdb+.

Развитие Icehouse с помощью инкрементальных материализованных представлений

Starburst продолжает укреплять свой статус идеальной основы для рабочих нагрузок Apache Iceberg. В версии 482-e LTS мы сосредоточились на устранении накладных расходов на пересчет предварительно вычисленных продуктов данных и расширении интероперабельности каталогов.

Инкрементальные материализованные представления Iceberg

Теперь в рамках публичного превью в Starburst Enterprise представлены инкрементальные обновления для материализованных представлений Iceberg, поддерживающих только добавление данных (append-only). Ранее обновление материализованного представления Iceberg требовало полного повторного выполнения запроса по историческим наборам данных, что приводило к непомерно длительным окнам обновления и высоким затратам на вычисления.

Администраторы теперь могут планировать обновления с добавлением данных, используя incremental_column для любого источника, доступного через Trino, или определять их непосредственно через продукты данных без развертывания отдельного сервиса кэширования. Обрабатывая только новые строки, инженеры данных могут значительно сократить время обновления и устранить основной технический барьер при миграции устаревших конвейеров Hive на Apache Iceberg.

Открытый доступ Iceberg REST для Starburst Metastore

Теперь в публичном превью Starburst Metastore (ранее Starburst Data Catalog) добавляет нативную поддержку открытой спецификации Iceberg REST Catalog, включая управление учетными данными, токены типа PAT и поддержку идентификации через Okta и Ping Identity. Команды, стандартизирующие работу на спецификации Iceberg REST, теперь могут использовать Starburst Metastore как единый каталог для внешних движков запросов и сторонних инструментов, сокращая количество специфических интеграций и затраты на обслуживание коннекторов.

Прорывы в производительности движка и оптимизация представлений

Релиз 482-e LTS опирается на обновления основного движка выполнения, что позволило повысить скорость на 10% по результатам внутренних тестов, снизить задержки и прозрачно обрабатывать сложные запросы. Эта итерация дополнительно повышает скорость, уже присущую нашему движку запросов, обеспечивая лучшие результаты для клиентов.

Запросы, превышающие объем ОЗУ

Чтобы предотвратить сбои по нехватке памяти (OOM) при выполнении огромных запросов, мы расширяем поддержку нашего режима выполнения с устойчивостью к памяти, который опирается на объектное хранилище и/или уровень локального диска во встроенном BufferService. Этот режим позволяет крупным запросам превышать доступный объем ОЗУ, снижая при этом штрафы к производительности, характерные для отказоустойчивого выполнения (FTE). Эта функция находится в публичном превью.

Протокол PyStarburst Arrow

Протокол передачи данных (spooling) теперь можно настроить для использования сериализации Apache Arrow наряду с новыми методами PyStarburst. Теперь в публичном превью это позволяет Python-клиентам и специалистам по анализу данных извлекать результаты запросов в формате параллельных данных и передавать чанки Arrow напрямую в инструменты анализа данных Python без декодирования, что делает извлечение результатов до 7 раз быстрее.

Расширенные интеллектуальные возможности платформы с AIDA

Релиз 482-e представляет критически важные возможности видимости, безопасности и контекста для Starburst AIDA.

AIDA Studio, Skills и наблюдаемость токенов

Поддерживаемая в 482-e, AIDA Studio предоставляет сворачиваемую боковую панель с настраиваемыми инструментами прямо во время чат-сессий. Кроме того, AIDA Skills переходит в стадию публичного превью, внедряя гранулярный контроль доступа, чтобы пользователи, не являющиеся системными администраторами, могли создавать инструкции и кодифицировать институциональные знания. Для управления расходами администраторы получают специальную страницу потребления токенов в навигации Starburst Enterprise Admin, обеспечивающую видимость тенденций использования за разные периоды времени вплоть до отдельных пользователей.

Расширение OAuth для внешних серверов MCP

Переходя в публичное превью, внешний сервер Model Context Protocol (MCP) для AIDA теперь поддерживает расширенные стандарты аутентификации OAuth, включая OAuth Client ID/Secret и OAuth PKCE. Команды ИИ-платформ могут безопасно подключать AIDA к более широкому спектру сторонних корпоративных систем для выполнения сложных рабочих процессов, основанных на корпоративном контексте.

Агент обогащения продуктов данных v2

Теперь в публичном превью обновленный агент обогащения продуктов данных (Data Product Enrichment Agent) позволяет экспертам по данным создавать контекст, готовый для ИИ, за считанные минуты. Объединяя предоставленные пользователем описания области действия и бизнес-правила с активной выборкой данных — вместо того, чтобы полагаться исключительно на определения схем метастора — агент автоматически генерирует метаданные более высокого качества для продуктов данных.

Расширенная экосистема открытых коннекторов

Starburst Enterprise 482-e расширяет федеративный доступ к унифицированным форматам озер данных, системам временных рядов и SaaS-эндпоинтам.

• Great Lakes Connector (GA): Единый унифицированный коннектор, охватывающий форматы таблиц Hive, Iceberg и Delta Lake. Организации могут выполнять запросы к смешанным форматам таблиц через один коннектор, сокращая разрастание каталогов и накладные расходы на обслуживание.

• OpenAPI Connector (публичное превью): Выполняйте запросы к любой REST-системе, описанной через OpenAPI, используя стандартный SQL, не дожидаясь создания пользовательских коннекторов. Укажите коннектору файл спецификации OpenAPI, чтобы превратить SaaS-платформы, такие как Jira, GitHub и Datadog, в запрашиваемые таблицы.

• kdb+ Connector (публичное превью): Команды рынков капитала и количественных технологий теперь могут нативно объединять запросы к данным временных рядов kdb+ без потери точности выполнения.

• OpenSearch Connector (GA): Обновлен до уровня GA с поддержкой pushdown для нескольких полей и прокручиваемой пагинацией для больших наборов данных, что обеспечивает федерацию промышленного уровня для аналитики логов и рабочих нагрузок SIEM.

Критические изменения и изменения конфигурации

Этот релиз включает несколько критических архитектурных изменений и обновлений конфигурации, требующих внимания перед развертыванием. Ознакомьтесь с полной технической документацией, чтобы обеспечить стабильность кластера в процессе обновления.

Удаление устаревшего пакета HMS и поддержки облачного объектного хранилища

• Удаление образа Hive Metastore Service: Образ Hive Metastore Service (HMS), поставляемый Starburst, и чарт starburst-hive Helm были полностью удалены после окончания поддержки в версии 480-e. Организации должны мигрировать на Starburst Metastore перед обновлением.

• Поддержка устаревших объектных хранилищ на базе Hadoop (io.trino.hdfs.s3.TrinoS3FileSystem и fs.hadoop.enabled=true для облачных хранилищ) была полностью удалена из коннекторов Delta Lake, Hive и Iceberg. Каталоги, использующие устаревшие свойства конфигурации hive.s3.*, hive.azure.* или hive.gcs.*, не запустятся. Выполните миграцию на fs.native-s3.enabled=true, fs.native-azure.enabled=true или fs.native-gcs.enabled=true.

Устаревание и удаление коннекторов

• Удаление коннектора Snowflake JDBC: коннектор snowflake_jdbc был удален в пользу snowflake_parallel. Кроме того, аутентификация по паролю в коннекторе Snowflake признана устаревшей и будет удалена в LTS-релизе за ноябрь 2026 года в пользу аутентификации по паре ключей.

• Alluxio Exchange и файловая система: поддержка хранилища обмена на базе Alluxio для отказоустойчивого выполнения (Fault-Tolerant Execution), а также файловой системы Alluxio в коннекторах Delta, Hive, Hudi и Iceberg была удалена.

• Кэширование файловой системы на уровне узла: кэширование файловой системы больше не настраивается внутри свойств каталога (fs.cache.*). Все конфигурации кэша должны быть перенесены в свойства уровня узла через cache-manager.config-files в файле config.properties.

• Переименование свойств Starburst Data Catalog: Starburst Data Catalog был переименован в Starburst Metastore. Свойства с префиксом catalog.* (например, catalog.enabled) признаны устаревшими и переименованы в metastore.* (например, metastore.enabled).

Отмена неявного приведения типов CHAR и VARCHAR

Поведение неявного приведения между типами CHAR и VARCHAR было изменено на обратное. Теперь значение CHAR приводится к VARCHAR с удалением завершающих пробелов, а сравнения следуют семантике VARCHAR без дополнения пробелами. Чтобы сохранить прежнее поведение до ноябрьского LTS-релиза, администраторы должны явно установить deprecated.legacy-varchar-to-char-coercion=true в своей конфигурации.

Обновитесь до Starburst Enterprise 482-e LTS уже сегодня

Релиз 482-e LTS знаменует собой определяющий сдвиг в том, как современные предприятия запускают, управляют и масштабируют свои озера данных (data lakehouses). Благодаря внедрению автоматической подстановки материализованных представлений, инкрементальной обработки Iceberg и встроенной высокой доступности Control Plane, платформенные команды получают возможность запускать мультикластерные архитектуры с абсолютной производительностью и отказоустойчивостью.

Чтобы начать планирование развертывания:

• Ознакомьтесь с полными примечаниями к выпуску 482-e LTS здесь.

• Изучите нашу документацию по ИИ и AIDA здесь.

• Прочитайте наши последние руководства по коннекторам и миграции здесь.