TL;DR
Что нового: целевой набор улучшений Alation Lineage, охватывающий источники, которые мы раньше упускали, точность, соответствующую изменениям, а также lineage, который можно запрашивать программно и в режиме диалога.
Что это решает: люди теряют доверие к графам lineage, когда даже один источник становится невидимым, сохраняется одна устаревшая ссылка или один переход незаметно проходит через разрыв. Эти обновления устраняют подобные пробелы в файловых источниках, межбазовом перемещении данных, приеме данных через OpenLineage, обслуживании с учетом версий и API lineage.
Для кого это: для дата-стюардов, команд по управлению данными, инженеров платформ и всех, кто создает агентов, которым необходимо проследить ответ до его источника. Уже доступно для клиентов Alation Cloud Service.
У вас может быть граф lineage с тысячей узлов, но именно тот узел, которого не хватает, — это тот, о котором кто-то спросит во время аудита.
Я провел первые несколько месяцев в своей роли менеджера по продукту (PM) для Lineage, общаясь с клиентами и изучая обращения в службу поддержки, и закономерность оказалась постоянной. Команды теряют веру в lineage не из-за какого-то драматического сбоя. Они теряют веру тихо. Панель мониторинга, которая никуда не ведет. Представление, которое изменилось в прошлом месяце, но все еще показывает старую связь. Граф, который так аккуратно перепрыгивает через разрыв, что никто не замечает, что удаленная таблица обрабатывается так, будто она все еще существует. Каждая из этих проблем невелика. Вместе они являются причиной того, что стюард открывает вкладку lineage, видит что-то подозрительное и решает, что быстрее спросить человека, который создал конвейер.
Это именно тот режим сбоя, который мы решили исправить. Не с помощью одной новой функции, а с помощью набора целенаправленных улучшений в трех областях: видение всей картины, доверие к тому, что вы видите, и работа с lineage в масштабах, требуемых современными данными.
Когда один отсутствующий источник подрывает доверие ко всему
Lineage — это система доверия. Она либо показывает вам полную картину, либо нет, а «почти полная» не внушает доверия людям, которые вносят изменения, способные сломать отчет ниже по потоку.
Проблема носит структурный характер. Данные живут не только в хранилищах и BI-инструментах, связанных SQL. Они живут в электронных таблицах, питающих рабочие книги Tableau. Они перемещаются между реляционными базами данных через пользовательские скрипты, которые не видит ни один парсер. Они проходят через задания Spark и Trino, которые отчитываются через OpenLineage, но ссылаются на неверный объект каталога, потому что путь к хранилищу не совпадает с тем, как источник был каталогизирован. Каждое из этих мест — это точка, где граф тихо становится пустым.
В July 2024 Gartner survey of 1,203 data management leaders 63% организаций либо не имели правильных методов управления данными для ИИ, либо не были уверены, есть ли они у них.¹ Рекомендации Gartner начинаются с метаданных: организациям с базовыми или ручными методами управления метаданными будет сложно подготовить свои данные к ИИ.¹ Lineage — это метаданные в их наиболее практичной форме: если вы не можете проследить, откуда взялось число, вы не можете подтвердить, заслуживают ли доверия данные, питающие агента или отчет.
Регуляторы видят тот же пробел. В своем November 2023 progress report Базельский комитет по банковскому надзору обнаружил, что только два из 31 глобально системно значимого банка, которые он оценивал, полностью соответствовали его принципам работы с данными о рисках, и назвал неполный lineage данных одним из главных препятствий.²
Это не экзотические крайние случаи. Это пробелы, которые клиенты и обращения в поддержку выявляют снова и снова, и теперь они устранены.
Alation lineage теперь обеспечивает покрытие, соответствующее вашему уникальному ландшафту данных
Файловые источники теперь отображаются на графе. Рабочая книга Tableau, построенная на файле CSV или Excel, раньше была тупиком в графе lineage, как будто у отчета вообще не было вышестоящего источника. Теперь файл отображается как отдельный узел, и когда этот исходный файл изменяется или выводится из эксплуатации, виден каждый отчет и панель мониторинга, которые от него зависят. Для каталогизированных файловых систем lineage распространяется на отдельные атрибуты файлов через публичные API. Конфигурация не требуется: lineage файлов создается автоматически при следующем запуске извлечения BI-lineage для любого сервера, имеющего файловые подключения.
Lineage между реляционными базами данных. Alation теперь может строить lineage на уровне таблиц и столбцов между двумя базами данных RDBMS, независимо от того, перемещаются ли данные через запросы или пользовательские скрипты, путем сопоставления имен объектов в разных средах. Администратор объявляет вышестоящий источник в настройках Lineage целевой базы, и система разрешает lineage, который ранее ничего не показывал. Это наиболее важно для организаций, где перемещение данных происходит вне инструментов, которые Alation парсит нативно. Эта функция сегодня общедоступна для облачных клиентов.
Исправления разрешения OpenLineage. События из таких инструментов, как Spark и Trino, теперь сопоставляются с каталогизированными источниками, используя более богатую идентификацию, которую большинство производителей уже отправляют (AWS Glue, Hive Metastore, Trino, Athena, Redshift), а не просто необработанный путь к хранилищу. События, которые были приняты, но молча не создавали lineage, потому что путь не совпадал с тем, как объект был каталогизирован, теперь разрешаются правильно, конфигурация не требуется.
Чистый эффект — меньше мест, где граф становится пустым. Анализ влияния начинается с реального происхождения данных, а не с того места, куда случайно дотянулась автоматизация.
Граф, который остается актуальным по мере изменения ландшафта
Однако одного покрытия недостаточно, если граф отражает логику прошлого квартала. Ландшафт данных постоянно меняется: представления переписываются, модели dbt редактируются, источники выводятся из эксплуатации. Lineage, который не меняется вместе с этими изменениями, является обузой, потому что устаревшая ссылка хуже, чем отсутствующая. Отсутствующая ссылка, по крайней мере, честно говорит о пробеле.
Lineage с учетом версий гарантирует, что изменение представления базы данных или источника модели dbt мгновенно заменяет старую связь на новую как на уровне таблицы, так и на уровне столбца. Раньше каждое редактирование модели dbt, даже добавление комментария, могло создать вторую связь, а каждое последующее действие добавляло еще одну. Одна модель могла накопить множество устаревших, конфликтующих ссылок. Этот режим сбоя теперь навсегда устранен.
Более четкая обработка временных, удаленных и некаталогизированных объектов. Узел, который не является живым каталогизированным объектом, раньше был неоднозначным: «удаленный» и «временный» смешивались, и lineage незаметно проходил через разрывы, поэтому сломанный конвейер мог выглядеть идеально связанным. Администраторы теперь могут включить обработку, которая отличает настоящую временную таблицу от удаленного объекта и от того, который никогда не был каталогизирован, каждый со своим значком. Стюарды могут с первого взгляда отличить настоящий разрыв от обобщенного.
Фильтрация lineage на основе времени позволяет администраторам ограничивать lineage на основе запросов недавним временным окном, чтобы пользователи видели недавно активные связи вместо всей истории. Полезно для уменьшения шума на загруженных графах, где годы накопленной истории запросов скрывают связи, которые важны сегодня.
Анализ влияния теперь точно соответствует графу. Анализ влияния и аудит вышестоящих источников проходят через временные объекты к постоянным таблицам за ними и четко помечают, к какой таблице принадлежит каждый затронутый столбец, как в приложении, так и при экспорте в CSV.
Общая черта заключается в том, что граф теперь поддерживает себя в актуальном состоянии по мере изменения инфраструктуры, вместо того чтобы накапливать артефакты от решений, которые больше не применяются.
Линейность там, где происходит работа
Чисто визуального графа линейности недостаточно для команд, которым необходимо анализировать, составлять отчеты и автоматизировать свои потоки данных в масштабе. А поскольку агенты все чаще используют линейность для принятия решений, она должна быть доступна программно, а не только во вкладке браузера.
Линейность в Alation Analytics теперь общедоступна. Вы можете выполнять анализ влияния, аудит вышестоящих источников и настраиваемую отчетность по всему графу линейности, используя те же аналитические инструменты, которые вы уже применяете для других метаданных Alation. Новая линейность, обновления и удаления — все остается синхронизированным.
Улучшенные API линейности позволяют фильтровать по направлению, исключать временные и удаленные объекты для соответствия интерфейсу, а также выполнять массовую очистку путем сопоставления шаблонов внешних идентификаторов вместо того, чтобы выгружать все данные и фильтровать их на своей стороне. Важное примечание: API линейности теперь по умолчанию исключает удаленные объекты. Если ваша интеграция зависела от их отображения, передайте excludeGone=false, чтобы восстановить прежнее поведение.
Lineage Co-Pilot, который сейчас находится в открытом бета-тестировании, помогает вам там, где возникает вопрос. Когда графу линейности нечего показать, действие «Диагностика линейности» (Diagnose Lineage) просит помощника выяснить причину. Он анализирует конвейер загрузки, статус заданий и конфигурацию, а затем сообщает о результатах простым языком. На любом графе вы также можете задавать вопросы в контексте, от «что использует эту таблицу?» до «как работает загрузка журнала запросов?». Помощник проводит диагностику и предлагает дальнейшие шаги; он не перезапускает задания и ничего не меняет самостоятельно. Чтобы попробовать, включите соответствующий флаг функции в настройках линейности (также должен быть включен Alamigo).
А для команд, создающих агентов, Agent Studio включает двух готовых агентов линейности:
- Агент линейности (Lineage Agent) позволяет любому пользователю отслеживать вышестоящие источники и нижестоящих потребителей, следить за преобразованиями на уровне столбцов и сохранять документацию по линейности в каталоге.
Агент линейности (Lineage Agent) позволяет любому пользователю отслеживать вышестоящие источники и нижестоящих потребителей, следить за преобразованиями на уровне столбцов и сохранять документацию по линейности в каталоге.
- Агент построения линейности (Lineage Builder Agent) помогает администраторам создавать и удалять ручную линейность, диагностировать причины ее отсутствия и запрашивает подтверждение перед внесением любых изменений.
Агент построения линейности (Lineage Builder Agent) помогает администраторам создавать и удалять ручную линейность, диагностировать причины ее отсутствия и запрашивает подтверждение перед внесением любых изменений.
Оба они построены на инструментах линейности, включая Get Lineage, поэтому создаваемые вами агенты могут проверять вышестоящие источники и нижестоящих потребителей перед выполнением действий. Агент, который может проследить ответ до его источника, — это агент, которому можно доверить работу с пользователями. Именно поэтому линейность встроена в AIOS, открытую, управляемую и самообучающуюся интеллектуальную операционную систему Alation. Узнайте больше здесь.
Часто задаваемые вопросы
Нужно ли мне включать эти функции?
Некоторые из них включены по умолчанию, включая линейность в Alation Analytics и линейность «файл-BI». Другие требуют активации, чтобы вы могли внедрять их по своему графику. В публикации сообщества [LINK] перечислены шаги по настройке и все необходимые условия для каждой из них.
А как насчет уже существующей линейности? Исправляет ли это текущие проблемы?
Большинство этих обновлений применяются в будущем. Например, линейность с учетом версий сохраняет новые изменения в чистоте с этого момента. Если у вас есть исторические дубликаты ссылок из-за правок моделей dbt или устаревшие подключения к представлениям, ваша команда по работе с клиентами Alation поможет выполнить очистку.
Как это связано с критической линейностью (Critical Lineage)?
Все, что описано в этой публикации, является частью основной линейности Alation и применяется ко всем вашим подключенным источникам. Если ваша задача носит регуляторный характер и требует отслеживания конкретного показателя в отчетности до его источника с подотчетной цепочкой владения, Critical Lineage в Critical Data Manager опирается на основной граф линейности и добавляет уровни управления, ожидаемые регуляторами.
Может ли Alation построить линейность между базами данных без использования парсинга ETL-инструментов?
Да. Линейность RDBMS-to-RDBMS сопоставляет объекты по имени между двумя системами, как только администратор объявляет вышестоящий источник. Важное предостережение: правильная настройка вышестоящего источника имеет значение, так как она определяет, где разрешается линейность. Линейность на основе QLI требует одинакового типа базы данных с обеих сторон; линейность на основе скриптов требует совпадения имен таблиц.
Доступно сейчас
Эти улучшения доступны для клиентов Alation Cloud Service в облаке. Чтобы узнать, что включено в вашем экземпляре, проверьте настройки линейности или обратитесь к своей команде по работе с клиентами Alation. Полную информацию о каждой функции, включая шаги по настройке и известные ограничения, можно найти в публикации сообщества «Что нового в линейности данных» (What’s New in Data Lineage).
И продолжайте присылать свои отзывы. Большая часть этой работы началась именно с них.
Источники и примечания
Каждое внешнее утверждение в этой публикации является независимо проверяемым.
- 63% организаций либо не имеют, либо не уверены, есть ли у них правильные методы управления данными для ИИ; опрос 1203 руководителей по управлению данными, июль 2024 г. Организации с базовыми или ручными методами управления метаданными столкнутся с трудностями при подготовке своих данных к ИИ. — Gartner, «Отсутствие данных, готовых к ИИ, ставит под угрозу ИИ-проекты», 26 февраля 2025 г.
63% организаций либо не имеют, либо не уверены, есть ли у них правильные методы управления данными для ИИ; опрос 1203 руководителей по управлению данными, июль 2024 г. Организации с базовыми или ручными методами управления метаданными столкнутся с трудностями при подготовке своих данных к ИИ. — Gartner, «Отсутствие данных, готовых к ИИ, ставит под угрозу ИИ-проекты», 26 февраля 2025 г.
- Из 31 оцененного глобально системно значимого банка два полностью соответствовали всем принципам BCBS 239; нескольким банкам все еще не хватает полной линейности данных. Данные оценки по состоянию на июнь 2022 г. — Базельский комитет по банковскому надзору, «Прогресс во внедрении принципов эффективной агрегации данных о рисках и отчетности по рискам», 28 ноября 2023 г.
Из 31 оцененного глобально системно значимого банка два полностью соответствовали всем принципам BCBS 239; нескольким банкам все еще не хватает полной линейности данных. Данные оценки по состоянию на июнь 2022 г. — Базельский комитет по банковскому надзору, «Прогресс во внедрении принципов эффективной агрегации данных о рисках и отчетности по рискам», 28 ноября 2023 г.
