Спросите команду по управлению данными (data governance), для каких критически важных элементов данных не назначен владелец, и вы услышите паузу. По данным Gartner, 57% организаций не считают свои усилия по дата-стюардшипу успешными. При этом стандарты зафиксированы, а метаданные, необходимые для их проверки, уже находятся в каталоге. Не хватает лишь самого процесса проверки: инструмента, который непрерывно сравнивает стандарты управления с реальностью без необходимости для стюарда проверять каждый ассет вручную.
Что нового: Collibra Control Tower
Мы невероятно рады объявить о том, что Control Tower теперь официально доступен для всех пользователей (generally available). Control Tower непрерывно проверяет ваш Collibra Catalog через Knowledge Graph, и если контроль не проходит проверку, он отправляет оповещение и направляет задачу по исправлению нужному пользователю.
Его можно сравнить с движком обеспечения соблюдения политик управления данными. И он создан с учетом потребностей тысяч специалистов по data governance.
Вы можете легко создавать контроли с помощью no-code интерфейса всего в несколько кликов или использовать более 100 готовых контролей для BCBS 239, AI governance, GDPR, Critical Data Elements и дата-продуктов.
Контроли выполняются каждый час, день, неделю или по запросу. Каждый запуск возвращает статус прохождения (pass или fail) для каждого контроля, отправляет оповещение по электронной почте, в Slack или Microsoft Teams при возникновении сбоя и сохраняется в истории запусков. Пользователи могут подробно изучить недопустимые ассеты (drill-down) с помощью настраиваемых инструкций, чтобы оперативно все исправить.
Как помогает Control Tower
Руководители отделов управления данными формируют стандарты. От стюардов требуется их соблюдение. Между ними расположен каталог, полный данных, назначенных владельцев, связанных терминов и десятков других полей, которые трудно проверить в масштабах всей компании. Пробелы остаются скрытыми до тех пор, пока их что-то не обнаружит: аудит, запрос руководителя или пользователь, который не может найти надежные данные. До сих пор устранение этого пробела означало, что стюардам приходилось проверять ассеты вручную, а инженерам — экспортировать метаданные и поддерживать SQL-проверки в сторонних системах. Control Tower автоматизирует эти проверки непосредственно внутри Collibra с помощью простого UI и отправляет оповещения только в случае сбоя контроля.
Проблемы, которые он решает
- Ограниченное покрытие из-за нехватки персонала: ручная проверка охватывает только то, на что у стюардов хватает времени, а пробелы скрываются в ассетах, которые никто не открывал.
- Проверки, понятные только инженерам: SQL-запросы к экспортированным метаданным не содержат бизнес-контекста и обновляются только тогда, когда у инженера появляется свободное время.
- Проверка всего подряд ради поиска малого: без применения принципа исключений, чтобы найти 200 важных ассетов, приходится открывать тысячи.
- Выявление пробелов во время аудита: утерянная весной классификация всплывает осенью, когда объяснить причину сложнее всего.
Как работает Control Tower
Предположим, вы хотите применить правило: «каждая колонка в Critical Data Element имеет оценку качества данных».
Вы открываете меню импорта и выбираете наиболее подходящий готовый контроль.
Если ничего не подходит (спойлер: всё подходит), вы создаете его в no-code конструкторе запросов: выбираете тип ассета, путь и условия.
Простыми словами: покажи мне каждый критически важный элемент данных, у которого отсутствует оценка качества данных.
Контроли можно легко создавать с нуля или импортировать из пресетов.
Этот путь отслеживает связи на несколько шагов вперед: он проверяет, чтобы каждый элемент вел к таблице, таблица — к колонке, а у колонки была оценка качества данных. Вы запускаете тест один раз по запросу, чтобы убедиться в соответствии вашей политике, а затем настраиваете ежедневное выполнение.
Самое приятное? Когда следующее бизнес-подразделение внедряет тот же стандарт, оно может просто скопировать контроль и направить его на домен, где расположены его Critical Data Elements.
А что, если контроль не проходит проверку?
Вам не нужно открывать 477 ассетов, успешно прошедших проверку.
Вы открываете один из 23 проблемных ассетов и детализируете информацию, чтобы исправить ошибку.
Оповещение уже доставлено по электронной почте, в Slack или Teams с удобной ссылкой для принятия мер.
Оповещения отправляются по электронной почте, в Slack или MS Teams
Стюарду даже не нужен дашборд, чтобы найти проблему: на самой странице ассета перечислены все контроли, которые он не прошел. Когда стюард назначает владельца в каталоге, следующий запуск проходит успешно, а оба запуска сохраняются в истории.
Ассеты отображают непрошедшие контроли для их простого исправления
И всего за несколько кликов вы получаете уверенность в том, что ваши самые критически важные ассеты находятся под наблюдением, а у вас готовы ответы на случаи запросов руководства или регуляторов.
Почему это важное нововведение
- Руководителям отделов data governance: самостоятельно превращайте письменные стандарты в действующие контроли из готового набора или с помощью no-code конструктора, не дожидаясь очереди к инженерам, а затем повторно используйте их в следующем домене вместо создания с нуля.
- Дата-стюардам: начинайте день с короткого списка проблемных ассетов с детализацией до конкретного ошибочного атрибута или открывайте любой свой ассет и смотрите, какие контроли он не прошел.
- Специалистам по рискам и комплаенсу: с уверенностью подтверждайте соответствие требованиям благодаря истории, показывающей, что и когда было изменено.
- Руководителям направлений ИИ: проверяйте, соответствуют ли ИИ-системы в продакшене внутренним и внешним политикам. Решение поставляется с контролями, сопоставленными с EU AI Act и NIST.
- Потребителям данных: проверяйте страницу ассета на наличие непрошедших контролей перед его использованием в разработке.
Сценарии использования
- AI Governance: автоматизируйте валидацию политик ИИ. Например, контроль, охватывающий каждый сценарий использования ИИ, проверяет, содержат ли обучающие данные классификацию PII (персональные данные).
- Соответствие отраслевым нормативным требованиям: связывайте политики (например, BCBS 239) с действующими контролями, которые непрерывно мониторят ваши данные. Например, Critical Data Elements должны использовать данные с соответствующей классификацией данных.
- Дата-продукты, которым можно доверять: используйте Control Tower для мониторинга Output Port, чтобы гарантировать соответствие Data Product соглашению об уровне обслуживания (SLA) по свежести данных и защитить пользователей от использования устаревшей информации.
Главные выводы о Control Tower
Control Tower превращает стандарты управления данными в исполняемые проверки. Они перестают существовать только в регламентных документах и начинают выполняться для каждого ассета в зоне охвата по выбранному вами расписанию. Сбои фиксируются сразу при возникновении с привязкой к ассету и атрибуту, а каждый запуск сохраняет запись. И поскольку система работает на основе уже созданного вами Knowledge Graph, вы можете начать получать пользу уже сегодня.
- Управление по отклонениям: стюарды работают с коротким списком сбоев вместо выборочной проверки тысяч ассетов.
- Отсутствие зависимости от инженеров: вам не нужно поддерживать конвейеры экспорта или SQL-скрипты; контроли выполняются непосредственно там, где уже находятся метаданные.
- Один набор контролей для двух типов команд: одни и те же контроли подходят как регулируемым командам, подтверждающим соответствие стандартам, так и командам, которым просто нужен каталог, которому доверяют пользователи.
- Maciej RusekMaciej RusekProduct ManagerCollibra
Maciej Rusek
Maciej Rusek
Product Manager
Collibra
- Marc CampabadalMarc CampabadalSenior Product Marketing ManagerCollibra
Marc Campabadal
Marc Campabadal
Senior Product Marketing Manager
Collibra
- Volodymyr IliushchenkoVolodymyr IliushchenkoSoftware Engineer Collibra
Volodymyr Iliushchenko
Volodymyr Iliushchenko
Software Engineer
Collibra
