Десять лет назад dbt дал название тому, чем люди уже пытались заниматься: писать SQL как инженеры-программисты, версионировать его, тестировать, документировать и доверять ему. Эта идея превратилась в новую практику — аналитическую инженерию (analytics engineering). Люди, построившие на этом свою карьеру, стали одними из самых квалифицированных специалистов по работе с данными в отрасли.
Теперь эти же люди задают более сложный вопрос: какое влияние ИИ окажет на практику аналитической инженерии? ИИ нуждается в движке, который работает достаточно быстро, чтобы не отставать, в заслуживающем доверия контексте и в агентах, которые понимают ваш бизнес, а не угадывают его. Вопрос не в том, важны ли еще инженеры по аналитике; вопрос в том, как им выйти на новый уровень в эту новую эпоху.
На этой неделе на dbt Summit мы приветствовали 2000 профессионалов в области данных в Лас-Вегасе (и еще тысячи онлайн), чтобы обсудить будущее аналитики в эпоху ИИ. Fivetran и dbt Labs объединяются вокруг одного тезиса: фундамент данных, который делает аналитику надежной, — это тот же фундамент, который делает надежным ИИ. Чтобы помочь нашим пользователям выйти на новый уровень на обоих фронтах, мы анонсировали ряд новых функций в продуктовых линейках dbt и Fivetran.
Выведите движок на новый уровень
Один dbt, один движок, созданный для того, чтобы двигаться так же быстро, как и вы
dbt всегда развивался вместе с растущими нагрузками на данные. В прошлом году мы представили движок dbt Fusion — полную переработку dbt на Rust с нативным пониманием SQL и значительно более высокой производительностью по сравнению с оригинальным стандартом на базе Python. Но поддержка двух движков создавала реальные трудности как для нас, так и для тысяч команд, пытающихся понять, на каком из них строить работу.
dbt v2 покончит с этим. Теперь общедоступный (GA) dbt v2 представляет собой единый современный движок на базе Rust, обеспечивающий работу всего dbt, работаете ли вы локально или на платформе dbt. Это тот же рабочий процесс на более быстром фундаменте — благодаря всем инновациям в Fusion за последние 18 месяцев.
Мы выпускаем две редакции v2:
- Супермножество dbt включает в себя все части фреймворка, усиленные функциями понимания SQL. Оно бесплатно в использовании и содержит дополнительные платные функции (например, dbt State).
- Подмножество dbt-oss включает только те компоненты, которые имеют лицензию Apache 2.
dbt Core тоже никуда не денется. Это по-прежнему Apache 2.0, по-прежнему открытый исходный код, просто переименованный в соответствии с предыдущей версией — dbt v1.
Доступность адаптеров:
- BigQuery, Databricks, DuckDB, Redshift и Snowflake доступны в общем доступе (GA)
- ClickHouse и Spark находятся в бета-версии, доступны для установки и тестирования локально
- Athena, Fabric и Postgres появятся в ближайшее время
«С новым движком dbt v2 прирост производительности проявился во всем процессе разработки. Команды стали тратить меньше времени на ожидание завершения процессов, быстрее проводить изменения через конвейер и больше времени уделять созданию и поставке продуктов данных». — Вишеш Джайн (Vishesh Jain), руководитель отдела доставки, платформа анализа данных в RMIT University
Начните работу с v2 уже сегодня.
Создавайте то, что изменилось, пропускайте то, что осталось прежним, с помощью dbt State, который теперь общедоступен (GA)
Теперь официально общедоступный (GA) dbt State проверяет метаданные вашего хранилища и SQL-код моделей на предмет изменений, а затем соответствующим образом строит, пропускает, клонирует или откладывает каждый запуск. Такой интеллектуальный подход приводит к сокращению затрат на вычисления в хранилище в среднем на 15–30% и избавляет от необходимости использовать ручной синтаксис и обходные пути, которые команды создавали, чтобы избежать лишних запусков.
«С момента внедрения dbt State мы сократили расходы на хранилище на 59% для запланированных заданий на платформе dbt, которая работает поверх адаптивного хранилища Snowflake. Мы повторно использовали более 700 тыс. моделей вместо их пересоздания, что сократило время выполнения запросов на две недели за 60-дневный период». — Крис Шепард (Chris Shepherd), ведущий инженер по данным, RxBenefits
С dbt State актуальность переносится с задания на модель. Каждая модель несет в себе собственное требование к актуальности в коде — lag_tolerance, которое указывает, насколько устаревшей она может быть, что упрощает оркестрацию. А поскольку кодифицированные правила актуальности и автоматическое повторное использование ограничивают стоимость любого запуска, средства защиты теперь находятся в инфраструктуре, а не зависят от того, кто или какой агент отдает команду. Результат ежедневно ощущается в разработке. dbt State устраняет сложные ритуалы настройки разработки и риски случайных сборок, обеспечивая более быстрый и безопасный процесс разработки.
«dbt State стал сдвигом парадигмы в том, как мы работаем. Благодаря кодифицированной актуальности, более простой оркестрации и, в конечном счете, высвободившимся ресурсам разработчиков мы уделяем больше времени инициативам, которые повышают ценность нашего бизнеса. И это в дополнение к 25% экономии времени выполнения заданий и затрат на вычисления в BigQuery». — Гордон Курзон (Gordon Curzon), руководитель отдела аналитической инженерии, Virgin Media O2
dbt State работает в dbt версий от 1.7 до v2 везде, где вы запускaeте dbt: локально, на платформе dbt, с вашим собственным оркестратором и в Snowflake, BigQuery, Databricks и Redshift.
Начните работу с dbt State сегодня, чтобы оптимизировать затраты, сэкономить время и выйти на новый уровень везде, где вы запускaeте dbt.
Владейте своими данными. Соотказуйте затраты с ценностью. Представляем Lake Compute — теперь в бета-версии
Большинство компаний запускают каждую модель dbt, от масштабных соединений (joins) до простых промежуточных таблиц, на одном и том же вычислительном ресурсе хранилища. С появлением Apache Iceberg вы можете хранить свои данные в форматах открытых таблиц и иметь гибкость в выборе подходящего движка вычислений для каждой рабочей нагрузки.
Теперь мы предлагаем такой выбор с помощью Lake Compute (частная бета-версия), одноуздового движка SQL на базе DuckDB для dbt, который выполняет трансформации непосредственно над таблицами Apache Iceberg. Пометьте одну модель или сотню для запуска на Lake Compute. Остальные продолжат работать в вашем хранилище, а ссылки (refs) будут работать в обоих случаях. Выбор движка становится решением на уровне отдельной модели, а не проектом по реплатформированию. С помощью Lake Compute мы движемся к реализации концепции открытого озера данных (data lakehouse), где вы можете выбрать подходящие вычисления для конкретной задачи.
Узнайте больше о Lake Compute здесь. Хотите увидеть это в действии? Присоединяйтесь к нашему предстоящему вебинару об оптимизированных по затратам трансформациях с использованием dbt, Apache Iceberg и мультидвижковых вычислений. Мы в прямом эфире разберем проект dbt с двумя движками, работающий частично на Snowflake, частично на Lake Compute на одних и тех же таблицах Iceberg, чтобы вы могли воочию увидеть, как выглядит «выбор движка как решение для каждой модели» на практике. Забронируйте место здесь.
Выйдите на новый уровень для ИИ: продуманный контекст
Агентам ИИ не обязательно нужно больше ваших данных. Им нужно понимание того, что означают данные, откуда они взялись, являются ли они актуальными и кто ими владеет. Этот фундамент уже заложен: семантический слой dbt управляет метриками, Agents Schema централизует контекст, а сервер dbt MCP Server предоставляет ваши модели, метрики, линейку данных и результаты тестов любому агенту ИИ.
Предоставление структурированного контекста dbt вашим любимым инструментам ИИ стало еще проще благодаря новым готовым интеграциям с Anthropic и плагину в ChatGPT (GA). Больше не нужно управлять множеством серверов MCP. Всего один клик — и ваша команда сможет мгновенно получить безопасный доступ к структурированному контексту из вашего проекта dbt.
Структурированный контекст приближает вас к надежным ответам ИИ. Но большая часть того, на чем работает бизнес, вообще не хранится в структурированных таблицах. Она содержится в записях звонков, тикетах поддержки, ветках Slack, и она постоянно меняется. Именно для этого создан Fivetran Context Layer: он превращает каждый источник, на который опирается ваш бизнес (как структурированные источники вроде dbt, так и неструктурированные, до которых BI-инструменты никогда не добирались), в контекст для тех инструментов ИИ, которые вы уже используете, от Claude до Slack. Поскольку Fivetran и dbt имеют видимость всей вашей системы данных, этот контекст создается и поддерживается по мере перемещения и трансформации данных, а не собирается воедино задним числом.
Выходите на новый уровень с ИИ
ИИ поднимает планку требований к созданию надежных данных: больше моделей, больше контекста, меньше пространства для догадок. Большая часть времени уходит на повторное изучение того, что уже должно быть известно: агенты заново открывают происхождение (lineage) и тесты проекта, прежде чем могут начать работу, а визуализации живут полностью за пределами кодовой базы.
dbt Wizard — это агент, созданный специально для аналитической инженерии. Он изначально привязан к вашему проекту, поэтому он уже знает, какие инструменты вызывать и какой контекст подтягивать без какой-либо настройки. Он выполняет проактивную проверку: проверяет влияние вверх и вниз по потоку, компилирует и собирает изменения до того, как кто-либо увидит разницу. А поскольку работа с данными носит визуальный характер, вы можете проверить все это по полному графу зависимостей (DAG). Инструмент Wizard в платформе dbt теперь находится в режиме публичного предварительного просмотра (Public Preview).
Режим исследования dbt Wizard Explore Mode (Public Preview) переносит диалоговую аналитику туда, где уже происходит работа с данными. Он позволяет бизнес-пользователям и командам данных задавать вопросы на обычном языке и получать ответы, основанные на том же проекте dbt, который ваша команда данных уже поддерживает. Когда ответа оказывается недостаточно, вы находитесь всего в шаге от модели, которую нужно исправить.
Интерфейс командной строки Wizard CLI (Public Beta) помещает того же привязанного к проекту агента в терминал, из которого вы уже запускваете dbt. Никаких новых приложений, никаких новых вкладок и не требуется аккаунт на платформе. А приложение Wizard Desktop (Private Beta) подхватывает работу там, где в терминале становится тесно: это выделенное локальное рабочее пространство для более долгих и сложных задач. Вы можете запускать несколько задач бок о бок вместо жонглирования окнами с визуальным превью кода, данных и происхождения до того, как что-либо будет отправлено.
Устранение последнего пробела: дашборды как код
Задавать вопросы — это лишь один из способов взаимодействия людей с данными. Иногда им нужен дашборд — такой, к которому они будут возвращаться каждый день. И вот тут история становится неудобной: везде в остальном стеке команды внедряли настоящую инженерную дисциплину — контроль версий, код-ревью, CI.
dbt был причиной того, что SQL превратился из скопированных и вставленных запросов в модели, которым можно доверять. Но дашборд в конце этого конвейера — то, на что смотрит руководитель — по-прежнему оставался запертым, застрявшим внутри любого проприетарного инструмента, который вы купили, сохраненным в чужом формате, оторванным от кода, который производит цифры.
dbt Charts (Public Beta) устраняет этот пробел. Он привносит дисциплину в дашборды: они создаются в формате YAML, контролируются версиями прямо рядом с моделями, от которых зависят, живут в том же репозитории, том же pull request, том же CI, что и лежащий в их основе SQL. Поскольку он является декларативным, он становится общим языком, который и люди, и агенты могут одинаково читать, писать и рецензировать — с той же надежностью, что и ваш SQL.
Оцените dbt Charts уже сегодня.
Мы все выходим на новый уровень
Эти анонсы представляют собой больше, чем просто набор новых продуктов. Вместе они отражают вектор развития Fivetran + dbt Labs. ИИ меняет правила игры, и мы создаем фундамент данных, который поможет вам преуспеть в эпоху агентного ИИ.
Вот краткий обзор того, как начать работу с любым из этих новых продуктов:
- Обновитесь до dbt v2 для более быстрой разработки, понимания SQL и многого другого.
- Включите dbt State и начните упрощать разработку и экономить на вычислениях.
- Используйте Lake Compute для запуска подходящего движка для каждой модели без проекта реплатформинга.
- Начните разрабатывать с помощью агентов с dbt Wizard — он доступен на платформе dbt, в совершенно новом десктопном приложении и через CLI.
- Режим исследования (Explore mode) в Wizard позволяет бизнес-пользователям легко общаться с вашими данными. Добавьте пользователя только для чтения бесплатно, он узнает о данных, а вы узнаете много нового из того, о чем они спрашивают.
- Встаньте в лист ожидания для Fivetran Context Layer.
- Попробуйте dbt Charts, первый BI-слой, ориентированный на язык.
dbt v2
dbt State
Lake Compute
Бета-версия
dbt Semantic Layer
dbt MCP Server
Закрытая бета-версия
dbt Wizard
Публичный предварительный просмотр
dbt Charts
Публичная бета-версия
