Python управляет современным стеком данных. Он обеспечивает работу заданий по приему данных, логику преобразований и практически все рабочие нагрузки ИИ и машинного обучения, используемые сегодня в производстве. GitHub's 2025 Octoverse report показал, что на Python сейчас работает почти половина всех новых репозиториев ИИ.
Но как только данные попадают в скрипт Python, линейность исчезает. Вы видите, что вошло и что вышло. А что произошло между этим — остается только догадываться. Это «слепое пятно» — место, где теряется доверие, и именно поэтому так много инициатив в области ИИ останавливаются, не доходя до стадии производства.
Что нового: линейность Python
Collibra теперь автоматически извлекает линейность данных из скриптов Python, поэтому логика, заложенная в вашем коде, отображается в графе линейности наряду со всем остальным.
Это работает двумя взаимодополняющими способами. Линейность во время выполнения (run-time) фиксирует то, что фактически выполняется, извлекая данные непосредственно из платформ, где работает ваш Python, включая Snowflake, Databricks и Google Knowledge Catalog, или передавая их через плагины OpenLineage. Проектная линейность (design lineage) идет еще дальше. Collibra считывает сам скрипт и использует ИИ для интерпретации логики преобразования, поэтому вы получаете линейность даже для кода, который еще не был запущен, кода, который работает вне поддерживаемой платформы, или кода, который вообще не затрагивает хранилище.
Оба метода дополняют один и тот же граф. Результатом является сквозная линейность, которая больше не заканчивается на границе файла Python, охватывая весь путь от исходной системы через преобразование до моделей ИИ и выходных данных, которые от них зависят.
Как помогает линейность из скриптов Python
Попросите большинство команд по работе с данными создать сквозную линейность для одной модели ИИ, и вы получите диаграмму, которая обрывается на полпути. SQL хранилища охвачен. Слой BI охвачен. Затем где-то посередине находится скрипт Python, который считывает три таблицы, объединяет их, создает дюжину признаков и записывает обучающий набор, и никто, кроме команды, которая его написала, не знает, что происходит внутри. Каждый такой пробел разрывает цепочку. Анализ влияния становится нечетким, аудит проводится вручную, а модель в конце конвейера не может быть объяснена через свои источники.
Проблемы, которые это решает
- Линейность, которая заканчивается на скрипте. Преобразования Python выглядят как «черный ящик» между двумя известными точками, оставляя пробелы в вашем графе именно там, где находится самая сложная логика.
- Отсутствие прослеживаемости для обучающих данных ИИ. Регуляторы и внутренние группы по управлению рисками хотят знать, какие исходные столбцы использовались для обучения модели. Проектная линейность из скриптов Python дает вам этот путь, столбец за столбцом.
- Анализ влияния, который упускает слой Python. Измените вышестоящую таблицу, и вы узнаете, что сломалось, только когда блокнот выдаст ошибку, а не до этого.
- Ручная документация, которая мгновенно устаревает. Команды вручную переносили преобразования Python в электронные таблицы и диаграммы. Эта работа становится бесполезной, как только кто-то объединяет pull request.
- Линейность, которая существует только постфактум. Ожидание выполнения задания означает, что линейность всегда отстает от разработки. Извлечение на основе CLI из репозитория позволяет генерировать ее во время фиксации (commit).
Как работает новая линейность Python
Collibra подходит к Python с двух сторон: что код сделал и что код говорит.
Линейность во время выполнения поступает из процесса исполнения. Когда скрипт Python запускается в Snowflake, Databricks или Google Knowledge Catalog, интеграции Collibra с этими платформами фиксируют выполненные операции и превращают их в линейность. Для всего, что работает в другом месте, плагины OpenLineage передают ту же информацию со слоя оркестрации. Это наиболее точная картина того, что произошло, но она зависит от того, что задание выполняется там, где Collibra может его наблюдать.
Проектная линейность исходит из самого скрипта. Извлечение с поддержкой ИИ от Collibra анализирует исходный код Python, идентифицирует операции чтения и записи, отслеживает присваивания и преобразования в коде и разрешает связи на уровне столбцов между входными и выходными наборами данных. Она справляется с запутанной реальностью производственного Python: операциями pandas, Spark DataFrames, SQL, встроенным в строки, многоэтапной инженерией признаков. Поскольку она работает с кодом, а не с выполнением, она охватывает скрипты, которые работают на платформах, с которыми мы не интегрируемся, скрипты, которые работают по расписанию, которое вы не хотите ждать, и скрипты, которые еще не были выпущены.
Техническая диаграмма линейности, показывающая сквозной конвейер машинного обучения на Python, от восьми исходных таблиц через промежуточное хранение и инженерию признаков до опубликованных метрик производительности модели.
Сдвиг влево (shift left) с помощью CLI. Collibra CLI выполняет ту же обработку Python для репозитория. Укажите его на репозиторий GitHub, подключите к CI, и линейность будет перегенерироваться как часть вашей сборки. Разработчики видят влияние изменений на последующие этапы в самом pull request, а не во время проверки управления двумя спринтами позже. Линейность перестает быть периодическим обновлением каталога и становится частью процесса доставки кода.
Где это находится в платформе. Извлеченная линейность Python не находится в отдельном представлении. Она встраивается в тот же граф технической линейности, что и ваша линейность SQL, ETL и BI, поэтому единая трассировка проходит от столбца исходной системы через преобразование Python в таблицу признаков, в модель и далее в отчет. Оттуда она соединяется с остальной частью Collibra: результатами качества данных по активам на пути, владением и управлением, политиками и реестром вариантов использования ИИ в AI Governance.
Почему вы должны быть в восторге
- Инженеры по ИИ и машинному обучению могут отследить каждый входной параметр модели до его первоначального источника, признак за признаком, и точно показать, как были сконструированы обучающие данные, когда бы их об этом ни спросили. Они также получают четкое представление о том, какие вышестоящие изменения повлияют на производительность модели, поэтому проблемы обнаруживаются до того, как они вызовут отклонения.
- Инженерам по данным больше не нужно вручную документировать конвейеры, поскольку линейность генерируется сама по себе из кода, который они уже написали. Они могут проводить анализ влияния перед изменением исходного столбца, а не после того, как чья-то панель мониторинга сломается, быстрее выполнять отладку, отслеживая неверное значение через каждое преобразование, которое его затронуло, и быстрее вникать в незнакомые конвейеры, читая граф вместо обратного проектирования скрипта.
- Архитекторы данных получают полное представление о том, как на самом деле перемещаются данные, без пробелов там, где задействован Python. Это означает, что миграции и изменения платформы могут планироваться на основе реальных карт зависимостей, а не предположений, а избыточные конвейеры или дублирующаяся логика преобразований становятся легко заметными в разных командах.
Варианты использования
Вот как это выглядит на практике:
- Доказательство происхождения ваших обучающих данных. Когда модель выносится на проверку, кто-то должен отчитаться, какие исходные поля использовались для ее обучения и что с ними делалось по пути. Инженерия признаков обычно находится в Python, и именно этот участок исторически оставался недокументированным. Проектная линейность, извлеченная из этих скриптов, помещает полный путь от исходных столбцов к признакам и модели в граф, поэтому ответ уже готов, когда задается вопрос.
- Использование Collibra CLI в CI означает, что каждое слияние (merge) приводит к повторной генерации lineage для измененных скриптов. Управление данными перестает «догонять» код, а каталог отражает то, что действительно находится в промышленной эксплуатации на текущей неделе, а не то, что было актуально на момент последнего сканирования.
- Анализ влияния перед внесением критических изменений. Устаревание или изменение столбца всегда было гаданием, как только цепочка зависимостей выходила за пределы хранилища данных. Благодаря lineage для Python граф показывает скрипты, которые используют этот столбец, создаваемые ими таблицы признаков, модели, обученные на этих таблицах, и отчеты, зависящие от всего этого. Команды знают радиус поражения и кого нужно уведомить перед выпуском изменений.
Основные выводы
Lineage полезен только тогда, когда он полон. Граф с «дырой» в виде Python-кода посередине не может обеспечить анализ влияния, доверие или объяснимость ИИ, которые необходимы организациям прямо сейчас. Объединяя lineage времени выполнения (run-time) с платформ, где исполняется код, с lineage проектирования (design lineage), извлеченным с помощью ИИ из самого кода, Collibra устраняет этот пробел, не заставляя инженеров менять привычный рабочий процесс. Все данные попадают в один связный граф вместе с вашими SQL, BI и ИИ-активами, регулируются одними и теми же политиками и обогащаются одними и теми же сигналами качества. Единое место для отслеживания движения данных, независимо от того, на каком языке написан код, перемещающий их.
Где узнать больше о lineage из Python-скриптов
Узнайте, как lineage времени выполнения и проектирования устраняют пробелы в ваших собственных конвейерах. Зарегистрируйтесь в нашей предварительной версии и будьте одними из первых, кто попробует ее: https://preview.collibra.com/key/pythonlineage
- Мередит БэйлиМередит БэйлиДиректор по продуктовому маркетингуCollibra
Мередит Бэйли
Мередит Бэйли
Директор по продуктовому маркетингу
Collibra
- Пржемысл ВитовецПржемысл ВитовецМенеджер по разработке программного обеспеченияCollibra
Пржемысл Витовец
Пржемысл Витовец
Менеджер по разработке программного обеспечения
Collibra
- Войтех ТалашекВойтех ТалашекСтарший менеджер по продуктуCollibra
Войтех Талашек
Войтех Талашек
Старший менеджер по продукту
Collibra











