Все, что мы анонсировали на dbt Summit, и почему это важно

Десять лет назад dbt дала название тому, чем люди уже пытались заниматься: писать SQL как инженеры-программисты, версионировать его, тестировать, документировать и доверять ему. Эта идея превратилась в новую практику: аналитическую инженерию. Люди, построившие на этом свою карьеру, стали одними из самых квалифицированных специалистов по данным в отрасли.

Теперь эти же люди задают более сложный вопрос: какое влияние окажет ИИ на практику аналитической инженерии? ИИ нужен движок, достаточно быстрый, чтобы не отставать, контекст, которому можно доверять, и агенты, которые понимают ваш бизнес, а не пытаются угадать его. Вопрос не в том, нужны ли еще аналитические инженеры, а в том, как им выйти на новый уровень в эту новую эпоху?

На этой неделе на dbt Summit мы приветствовали 2000 специалистов по данным в Лас-Вегасе (и еще тысячи онлайн), чтобы обсудить будущее аналитики в эпоху ИИ. Fivetran и dbt Labs объединяются вокруг одного тезиса: фундамент данных, который делает аналитику надежной, — это тот же фундамент, который делает надежным ИИ. Чтобы помочь нашим пользователям выйти на новый уровень по обоим направлениям, мы анонсировали ряд новых функций в портфелях продуктов dbt и Fivetran.

Повышение уровня движка

Один dbt, один движок, созданный для того, чтобы работать так же быстро, как вы

dbt всегда развивалась вместе с растущими рабочими нагрузками данных. В прошлом году мы представили движок dbt Fusion, полностью переписанный на Rust с нативным пониманием SQL и значительно более высокой производительностью, чем у оригинального стандарта на базе Python. Но поддержка двух движков создавала реальные трудности как для нас, так и для тысяч команд, пытающихся понять, на чем строить свою работу.

dbt v2 решает эту проблему. Теперь, будучи общедоступной (GA), dbt v2 представляет собой единый современный движок на базе Rust, обеспечивающий работу всего dbt, независимо от того, работаете ли вы локально или на платформе dbt. Это тот же рабочий процесс на более быстрой основе — благодаря всем инновациям в Fusion за последние 18 месяцев.

Мы выпускаем два дистрибутива v2:

• Суперсет dbt включает в себя все части фреймворка, усиленные функциями понимания SQL. Он бесплатен для использования с дополнительными платными функциями (например, dbt State).
• Подмножество dbt-oss включает только те компоненты, которые имеют лицензию Apache 2.

dbt Core также никуда не исчезает. Это по-прежнему Apache 2.0, по-прежнему открытый исходный код, просто переименованный в предыдущую версию, dbt v1.

Доступность адаптеров:

• BigQuery, Databricks, DuckDB, Redshift и Snowflake — общедоступны (GA).
• ClickHouse и Spark находятся в бета-версии и доступны для установки и тестирования локально.
• Athena, Fabric и Postgres появятся в ближайшее время.

«Благодаря новому движку dbt v2 улучшения производительности проявились во всем процессе разработки. Команды стали тратить меньше времени на ожидание завершения процессов, быстрее продвигали изменения через конвейер и могли сосредоточить больше своего времени на создании и доставке продуктов данных». — Вишеш Джайн, руководитель отдела доставки, платформа аналитики данных в RMIT University.

Начните работу с v2 уже сегодня.

Создавайте то, что изменилось, пропускайте то, что нет, с помощью dbt State, теперь общедоступного (GA)

Теперь официально общедоступный, dbt State проверяет метаданные вашего хранилища и SQL моделей на предмет изменений, а затем выполняет сборку, пропуск, клонирование или откладывание каждого запуска соответствующим образом. Этот интеллект приводит к среднему сокращению вычислительных ресурсов хранилища на 15-30%+ и устраняет ручной синтаксис и обходные пути, которые команды создавали, чтобы избежать выполнения лишней работы.

«С момента внедрения dbt State мы сократили расходы на хранилище на 59% для запланированных заданий на платформе dbt, которая работает поверх адаптивного хранилища Snowflake. Мы повторно использовали более 700 тысяч моделей вместо того, чтобы перестраивать их, что сократило время выполнения запросов на две недели за 60-дневный период». — Крис Шеперд, главный инженер по данным, RxBenefits.

С dbt State свежесть данных переходит от задания к модели. Каждая модель несет в коде свое собственное требование к свежести, lag_tolerance, которое определяет, насколько устаревшими могут быть данные, что упрощает оркестрацию. А поскольку кодифицированные правила свежести и автоматическое повторное использование ограничивают стоимость любого запуска, защитные барьеры теперь находятся в инфраструктуре, а не у того, кто или какой агент отдает команду. Результат ощущается ежедневно в разработке. dbt State устраняет сложные ритуалы настройки разработки и риски случайных сборок для более быстрой и безопасной работы.

«dbt State стал сменой парадигмы в том, как мы работаем. Благодаря кодифицированной свежести, более простой оркестрации и, в конечном счете, высвобожденному потенциалу разработчиков, мы уделяем больше времени инициативам, которые приносят пользу нашему бизнесу. И это в дополнение к 25% экономии как на времени выполнения заданий, так и на затратах на вычисления в BigQuery». — Гордон Керзон, руководитель отдела аналитической инженерии, Virgin Media O2.

dbt State работает на dbt от v1.7 до v2, где бы вы ни запускали dbt: локально, на платформе dbt, с вашим собственным оркестратором, а также в Snowflake, BigQuery, Databricks и Redshift.

Начните работу с dbt State сегодня, чтобы оптимизировать расходы, сэкономить время и выйти на новый уровень, где бы вы ни запускали dbt.

Владейте своими данными. Согласуйте затраты с ценностью. Представляем Lake Compute, теперь в бета-версии

Большинство компаний запускают каждую модель dbt, от массивных соединений до простых промежуточных таблиц, на одних и тех же вычислительных мощностях хранилища. С появлением Apache Iceberg вы можете хранить свои данные в форматах открытых таблиц и иметь гибкость в выборе подходящего вычислительного движка для каждой рабочей нагрузки.

Теперь мы предлагаем этот выбор с помощью Lake Compute (закрытая бета-версия), одноузлового SQL-движка на базе DuckDB для dbt, который выполняет преобразования непосредственно над таблицами Apache Iceberg. Отметьте одну модель или сотню для запуска на Lake Compute. Остальные продолжат работать в вашем хранилище, а ссылки (refs) будут работать в обоих случаях. Выбор движка становится решением для каждой модели, а не программой реплатформинга. С Lake Compute мы работаем над реализацией идеи открытого озера данных (data lakehouse): такого, где вы можете выбрать подходящие вычисления для конкретной задачи.

Узнайте больше о Lake Compute здесь. Хотите увидеть это в действии? Присоединяйтесь к нашему предстоящему вебинару по оптимизированным по затратам преобразованиям с помощью dbt, Apache Iceberg и многодвижковых вычислений. Мы покажем живой проект dbt с двумя движками, работающий частично на Snowflake, частично на Lake Compute, на одних и тех же таблицах Iceberg, чтобы вы могли увидеть, как «выбор движка как решение для каждой модели» выглядит на практике. Забронируйте место здесь.

Повышение уровня для ИИ: контекст, спроектированный инженерами

ИИ-агентам не обязательно нужно больше ваших данных. Им нужно понимание того, что означают данные, откуда они взялись, свежие ли они и кто ими владеет. Этот фундамент уже заложен: dbt Semantic Layer управляет метриками, Agents Schema централизует контекст, а dbt MCP Server предоставляет ваши модели, метрики, родословную и результаты тестов любому ИИ-агенту.

Предоставление структурированного контекста dbt вашим любимым ИИ-инструментам стало проще благодаря новым готовым интеграциям с Anthropic и плагину в ChatGPT (GA). Больше не нужно управлять несколькими серверами MCP. Всего один клик, и ваша команда сможет мгновенно и безопасно получить доступ к структурированному контексту из вашего проекта dbt.

Структурированный контекст приближает вас к получению надежных ответов от ИИ. Однако большая часть данных, на которых работает бизнес, вовсе не находится в структурированных таблицах. Она содержится в записях звонков, тикетах службы поддержки, ветках Slack и постоянно меняется. Именно для этого создан Fivetran Context Layer: он превращает каждый источник, используемый вашим бизнесом — как структурированные (например, dbt), так и неструктурированные, к которым никогда не обращались BI-инструменты, — в контекст для ИИ-инструментов, которые вы уже используете, от Claude до Slack. Поскольку Fivetran и dbt имеют доступ ко всей вашей инфраструктуре данных, этот контекст создается и поддерживается по мере перемещения и преобразования данных, а не собирается по частям постфактум.

Зарегистрируйтесь в программе раннего доступа. Хотите углубиться в эту тему? Присоединяйтесь к нашей сессии «От инженера по аналитике до инженера по контексту: руководство dbt», где мы доказываем, что контекстная инженерия — это аналитическая инженерия с новым «последним рубежом». Мы разберем конкретные паттерны, которые dbt Labs использует внутри компании для превращения неструктурированных источников в управляемый, версионируемый контекст, и представим пакет dbt_context_engineering, который воплощает эти паттерны в жизнь. Забронируйте свое место здесь.

Выходите на новый уровень с ИИ

ИИ повышает планку требований к созданию надежных данных: больше моделей, больше контекста, меньше места для догадок. Большая часть времени тратится впустую на повторное изучение того, что уже должно быть известно: агенты заново открывают происхождение (lineage) проекта и тесты, прежде чем приступить к работе, а визуализации существуют полностью вне кодовой базы.

dbt Wizard — это агент, созданный специально для аналитической инженерии. Он нативно интегрирован в ваш проект, поэтому уже знает, какие инструменты вызывать и какой контекст извлекать без какой-либо настройки. Он проводит проактивную проверку: анализирует влияние на вышестоящие и нижестоящие процессы, компилирует и собирает изменения до того, как кто-либо увидит diff. А поскольку работа с данными визуальна, вы можете проверить все это на полном графе DAG. Wizard в платформе dbt теперь доступен в режиме публичного превью.

Режим исследования dbt Wizard (публичное превью) переносит разговорную аналитику туда, где уже происходит работа с данными. Он позволяет бизнес-пользователям и командам по работе с данными задавать вопросы на обычном языке и получать ответы, основанные на том же проекте dbt, который уже поддерживает ваша команда. Если ответа недостаточно, вы находитесь всего в одном шаге от модели, которую нужно исправить.

Wizard CLI (публичная бета-версия) предоставляет того же агента, работающего с проектом, в терминале, из которого вы уже запускаете dbt. Никаких новых приложений, новых вкладок и учетных записей на платформе не требуется. А Wizard Desktop (закрытая бета-версия) продолжает работу там, где в терминале заканчивается место: это выделенное локальное рабочее пространство для более длительных и сложных задач. Вы можете выполнять несколько задач параллельно, вместо того чтобы переключаться между окнами, с визуальным предварительным просмотром кода, данных и происхождения (lineage) перед любым релизом.

Узнайте больше здесь.

Устранение последнего разрыва: дашборды как код

Задание вопросов — это лишь один из способов работы с данными. Иногда людям нужен дашборд — тот, к которому они будут возвращаться каждый день. И здесь история становится неприятной: везде в стеке команды внедрили настоящую инженерную дисциплину — контроль версий, проверку кода, CI.

dbt стал причиной того, что SQL превратился из скопированных запросов в модели, которым можно доверять. Но дашборд в конце этого конвейера — то, на что смотрит руководитель, — все еще оставался «запертым» внутри любого проприетарного инструмента, который вы купили, хранился в чужом формате и был оторван от кода, который генерирует эти цифры.

dbt Charts (публичная бета-версия) устраняет этот разрыв. Он привносит дисциплину в дашборды: они создаются как YAML, контролируются версиями прямо рядом с моделями, от которых зависят, живут в том же репозитории, в том же pull request и в том же CI, что и лежащий в их основе SQL. Поскольку это декларативный подход, он становится общим языком, который люди и агенты могут читать, писать и проверять так же надежно, как и ваш SQL.

Ознакомьтесь с dbt Charts уже сегодня.

Мы все выходим на новый уровень

Эти анонсы представляют собой нечто большее, чем просто набор новых продуктов. Вместе они олицетворяют вектор развития Fivetran + dbt Labs. ИИ меняет правила игры, и мы создаем фундамент данных, чтобы помочь вам добиться успеха в эпоху агентного ИИ.

Вот краткий обзор того, как начать работу с любым из этих новых продуктов:

• Обновитесь до dbt v2 для более быстрой разработки, понимания SQL и многого другого.
• Включите dbt State и начните упрощать разработку и экономить на вычислительных ресурсах.
• Используйте Lake Compute для запуска подходящего движка для каждой модели без необходимости реплатформинга.
• Начните разрабатывать с использованием агентов с помощью dbt Wizard — он доступен на платформе dbt, в совершенно новом приложении Desktop и через CLI.
• Режим исследования (Explore mode) в Wizard позволяет бизнес-пользователям легко общаться с вашими данными. Добавьте пользователя с правами только для чтения бесплатно — они узнают о данных, а вы узнаете много нового из того, о чем они спрашивают.
• Встаньте в очередь ожидания для Fivetran Context Layer.
• Попробуйте dbt Charts, первый BI-слой, ориентированный на язык.

dbt v2

dbt State

Lake Compute

Бета-версия

dbt Semantic Layer

dbt MCP Server

Fivetran Context Layer

Закрытая бета-версия

dbt Wizard

Публичное превью

dbt Charts

Публичная бета-версия