Опубликовано:
27 июля 2026 г.
AWS Glue Data Quality теперь поддерживает обнаружение аномалий для оценки качества данных на основе каталога, а также возможность записи результатов оценки в таблицы AWS Glue Data Catalog (GDC). Эти функции работают как в заданиях ETL, так и при оценке каталога, обеспечивая единообразие контроля качества данных независимо от типа рабочего процесса.
Благодаря поддержке обнаружения аномалий для GDC вы можете выявлять неожиданные изменения в статистике данных, такие как внезапное падение количества уникальных значений или резкие скачки количества строк в таблицах GDC, используя прогнозирование временных рядов на основе машинного обучения, без необходимости прописывать правила с явными пороговыми значениями. Это особенно ценно для инженеров данных, отслеживающих сотни таблиц в GDC и нуждающихся в автоматическом выявлении проблем.
Благодаря хранению результатов в GDC, итоги правил Data Quality, метрики профилирования и прогнозы аномалий (с доверительными интервалами) записываются обратно в таблицы GDC, создавая доступную для запросов запись всех оценок качества. Независимо от того, выполняется ли оценка в задании ETL или непосредственно в таблице каталога, результаты можно запросить в любое время с помощью стандартного SQL.
Функции обнаружения аномалий и хранения результатов в каталоге AWS Glue Data Quality доступны во всех коммерческих регионах AWS и регионах AWS GovCloud (США).
Чтобы начать работу, посетите документацию AWS Glue Data Quality.
