На первый взгляд может показаться, что Databricks Lakeflow напрямую конкурирует с Fivetran и dbt в области интеграции и трансформации данных соответственно. В действительности же Lakeflow предлагает мощные дополнительные возможности для обоих инструментов: он используется вместе с Fivetran для загрузки и обработки данных из различных источников в одну среду Databricks, а также с dbt для обработки «сырых» потоковых данных и сквозной оркестрации.
Вместе Fivetran, dbt и Databricks Lakeflow формируют основу современной открытой платформы данных, обеспечивая все операционные и аналитические сценарии использования данных. Используйте Fivetran для переноса корпоративных данных в Databricks, dbt — для превращения данных в надежные бизнес-модели, а Databricks Lakeflow — для загрузки и обработки потоков событий с помощью пользовательских конвейеров и координации последующих задач.
[CTA_MODULE]
Что каждый инструмент привносит в работу
Fivetran обеспечивает управляемую интеграцию данных из широкого спектра приложений и баз данных. Готовые коннекторы для более чем 770 различных источников данных автоматизируют интеграцию для общих аналитических и операционных целей, предоставляя при этом расширенные функции, такие как инкрементальная синхронизация и миграция схем. Fivetran доставляет данные в Delta Lake и другие форматы открытых таблиц, где они становятся доступны для последующих рабочих нагрузок.
dbt позволяет аналитическим командам определять трансформации как код с использованием тестов, контроля версий и документации. Команды могут сохранять уже созданные модели и расширять их по мере поступления новых данных. Кроме того, Fivetran предоставляет готовые dbt-совместимые модели данных для поддерживаемых источников (проверяйте совместимость с Databricks для каждого пакета).
Lakeflow предлагает возможности загрузки, трансформации и оркестрации. Конвейеры Lakeflow, построенные на Spark Declarative Pipelines, поддерживают пакетную и потоковую обработку на SQL и Python. Lakeflow Jobs координирует последующие задачи, включая проекты dbt.
Компания может выбрать Fivetran для подключения к SaaS-сервисам и базам данных, Lakeflow — для загрузки и обработки событий, а dbt — для бизнес-моделирования.
Практический пример использования Fivetran, dbt и Lakeflow
Предположим, вам нужно собрать коммерческий контекст и поведенческие сигналы в одном месте, чтобы создать таблицу состояния аккаунтов в режиме реального времени. Вот как можно построить такой стек:
- Пакетная интеграция данных из SaaS и баз данных с помощью Fivetran: Fivetran реплицирует данные об аккаунтах Salesforce, биллинговые записи, тикеты поддержки и таблицы прикладных баз данных в Databricks. Эти наборы данных определяют, кто является клиентом, за что они платят и какие рабочие области продукта им принадлежат. Fivetran управляет поддерживаемыми подключениями по мере изменения исходных систем.
- Потоковая интеграция данных о продукте с помощью Lakeflow: Конвейер Lakeflow загружает события продукта из шины сообщений, такой как Kafka. Эти события фиксируют входы в систему, использование функций и неудачные транзакции. Инженерная команда пишет логику обработки для удаления дубликатов, обработки данных, пришедших с опозданием, и расчета использования на уровне аккаунта за соответствующие периоды времени. Этот поток поступает параллельно с бизнес-данными, которые предоставляет Fivetran.
- Трансформации с помощью dbt: Аналитическая команда использует dbt для создания моделей аккаунтов, подписок и поддержки. Это позволяет последовательно определять регулярную выручку, связывать тикеты с аккаунтами и поддерживать соответствие между рабочими областями продукта и коммерческими клиентами. Тесты выявляют отсутствующие идентификаторы аккаунтов или неожиданные дублирующиеся подписки. Поддерживаемые пакеты Fivetran могут стать отправной точкой, в которую при необходимости добавляется специфическая для компании логика.
- Оркестрация с помощью Lakeflow: Затем Lakeflow объединяет обработанные сигналы использования с трансформированными бизнес-моделями в итоговой таблице состояния аккаунтов. Команда может определить начальное правило, которое помечает аккаунты со снижающейся активностью, растущим спросом на поддержку и приближающейся датой продления. Lakeflow Jobs может координировать последующий конвейер и задачи dbt.
С помощью этого стека ваша команда по работе с данными создает таблицу состояния аккаунтов, которая обновляется в режиме реального времени через потоковую передачу, что подходит для поддержки принятия решений, автоматизации бизнес-процессов и приложений ИИ.
Почему именно Fivetran, dbt и Lakeflow?
Аргументы в пользу технологического стека, построенного именно на Fivetran, dbt и Databricks, основаны на том, как каждая технология решает три соответствующие задачи: работа с разнообразными бизнес-источниками, поддержка команды, которая активно полагается на SQL, и реализация специализированной инженерии данных.
Fivetran особенно подходит для компаний, использующих множество SaaS-приложений и баз данных, позволяя командам передать на аутсорсинг создание и обслуживание коннекторов, обеспечивая при этом ключевые возможности, такие как захват измененных данных (CDC), загрузка исторических данных, поддержка изменений схемы и восстановление. Fivetran превращает интеграцию в управляемый сервис, освобождая инженеров для работы над сопоставлением аккаунтов, полезными сигналами и другими специфическими бизнес-задачами.
dbt идеально дополняет команды, которые уже трансформируют «сырые» данные в полезные модели с помощью SQL, тестов и документации. Сохранение этих активов позволяет команде расширять устоявшиеся бизнес-определения для новых сценариев использования.
Databricks отлично подходит для ресурсоемких инженерных задач, связанных с машинным обучением, искусственным интеллектом и обработкой неструктурированных данных. Lakeflow позволяет инженерам разрабатывать пакетные и потоковые конвейеры в той же среде, куда поступают бизнес-данные.
Начните с конкретного продукта данных, например, с примера состояния аккаунта, приведенного ранее. Проработав свои источники данных, требования к их актуальности, загрузку и трансформации от начала до конца, вы получите практический ориентир для оценки того, как Fivetran, dbt и Lakeflow могут работать вместе для вас.
[CTA_MODULE]
