Что такое качество данных?

Что нужно знать о качестве данных?

Качественные данные — это полезные данные. А данные низкого качества могут иметь негативные последствия. К ним относятся потенциальные риски для бизнеса, финансовые убытки и репутационный ущерб. Чтобы обладать высоким качеством, данные должны быть согласованными и однозначными. Проблемы с качеством данных часто возникают в результате слияния баз данных или процессов интеграции систем и облака. В этом случае поля данных, которые должны быть совместимы, несовместимы из-за несоответствия схем или форматов. Но в целом проблемы с качеством данных могут также вызываться человеческим фактором, системными ошибками и повреждением данных.

Проблемы с качеством данных могут быть связаны с неполнотой, неточностью, несогласованностью или дублированием данных. Это происходит, когда существует несколько копий одних и тех же данных, что приводит к несоответствиям. Данные с любой из этих проблем могут пройти процедуру очистки для повышения их качества. Эффективные процессы проверки достоверности и управления данными также помогают обеспечить качество данных.

Почему важно эффективное управление качеством данных?

Мероприятия по обеспечению качества данных включают рационализацию и проверку данных. Усилия по обеспечению качества данных часто необходимы при интеграции разнородных приложений. Это может происходить во время слияний и поглощений. Это также применимо, когда изолированные системы данных в рамках одной организации объединяются впервые в облачном хранилище данных или озере данных. Качество данных также критически важно для эффективности горизонтальных бизнес-приложений. К ним относятся планирование ресурсов предприятия (ERP) и управление взаимоотношениями с клиентами (CRM).

Каковы преимущества качества данных?

Когда данные обладают превосходным качеством, их можно легко обрабатывать и анализировать. Это приводит к получению аналитических выводов, которые помогают организации принимать более правильные решения. Высококачественные данные необходимы для аналитики, инициатив в области ИИ и бизнес-аналитики. Таким образом, поддержание высоких стандартов качества данных может помочь организациям обеспечить соблюдение нормативных требований, улучшить клиентский опыт, стимулировать инновации на основе данных и расширить возможности принятия решений. Это приносит пользу компаниям в самых разных отраслях: от помощи в улучшении ухода за пациентами в здравоохранении до оптимизации операций цепочки поставок в розничной торговле и персонализации банковских предложений в финансовых услугах.

Помимо помощи вашей организации в извлечении большей ценности из ее данных, процесс управления качеством данных повышает эффективность и продуктивность работы организации. Он также снижает риски и затраты, связанные с данными низкого качества. Короче говоря, качество данных — это основа надежных данных, которые стимулируют цифровую трансформацию. Стратегические инвестиции в качество данных окупятся многократно в различных сценариях использования по всему предприятию.

Основные компоненты качества данных

Успех управления качеством данных измеряется несколькими факторами. К ним относятся ваша уверенность в точности анализа, то, насколько хорошо данные поддерживают различные инициативы, и то, как быстро эти инициативы приносят ощутимую стратегическую ценность.

Для достижения всех этих целей ваши инструменты обеспечения качества данных должны уметь:

• Поддерживать практически все сценарии использования. Миграция данных требует иных показателей качества данных, чем аналитика нового поколения. Избегайте универсального подхода. Вместо этого выберите одно интегрированное решение, которое позволяет выбрать правильные возможности для ваших конкретных сценариев использования. Например, если вы мигрируете данные, вам сначала нужно понять, какие данные у вас есть (профилирование), прежде чем перемещать их. Для сценария использования в аналитике вам нужно очистить, проанализировать, стандартизировать и удалить дубликаты данных.
• Ускорять и масштабировать. Качество данных одинаково критично для веб-сервисов, пакетных, больших данных и рабочих нагрузок в реальном времени. Оно должно быть надежным, безопасным, управляемым и пригодным для использования. Это независимо от того, где оно находится (локально или в облаке) или какова его скорость (пакетная, в реальном времени, датчики/IoT и так далее). Ищите решение, которое масштабируется под любую рабочую нагрузку во всех отделах. Вы можете начать с сосредоточения внимания на качестве данных в рамках одного приложения или процесса. В этом случае вы будете использовать готовые бизнес-правила и ускорители, а также инструменты самообслуживания на основе ролей для профилирования, подготовки и очистки данных. Затем, когда вы будете готовы расширить программу, вы сможете внедрить те же бизнес-процессы и процессы очистки во всех приложениях и типах данных в масштабе.
• Обеспечить гибкий пользовательский опыт. Дата-саентисты, специалисты по управлению данными и потребители данных имеют специфические возможности, навыки и интересы при работе с данными. Выберите решение для обеспечения качества данных, которое адаптирует пользовательский опыт под каждую роль. Таким образом, все члены вашей команды смогут достичь своих целей без вмешательства ИТ.
• Автоматизировать критически важные задачи. Объем, разнообразие и скорость современных корпоративных данных делают ручное управление качеством данных невозможным. Решение для управления данными на базе ИИ может автоматически оценивать качество данных и давать интеллектуальные рекомендации, которые оптимизируют ключевые задачи. К ним относятся обнаружение данных и создание правил качества данных в масштабе всей организации.

Как избежать проблем с качеством данных

Чтобы избежать проблем, важно понимать ключевые атрибуты качества данных. Качество данных работает в семи основных измерениях:

• Точность: Данные отражают реальные объекты и/или события, которые они призваны моделировать. Точность часто измеряется тем, насколько значения согласуются с источником информации, который заведомо верен. Это помогает обеспечить точную информацию о клиентах для персонализированных/таргетированных маркетинговых кампаний, финансовые данные для точной финансовой отчетности, данные о продуктах для платформ электронной коммерции и данные об инвентаризации для эффективного управления цепочкой поставок.
• Полнота: Данные предоставляют все необходимые записи и значения. Это помогает создавать исчерпывающие профили клиентов, обеспечивать полноту транзакционных данных для информирования анализа и прогнозирования, содержать полные истории болезни пациентов для точного диагноза и собирать полные данные обратной связи для получения надежных клиентских инсайтов.
• Согласованность: Значения данных, полученные из нескольких мест, не противоречат друг другу в рамках записи или по всем значениям одного атрибута. Обратите внимание, что согласованные данные не обязательно являются точными или полными. Это помогает обеспечивать соблюдение согласованных форматов и структуры данных для эффективной интеграции данных, гарантировать согласованную категоризацию продуктов и атрибуты для сравнения продуктов, поддерживать согласованные определения и коды данных для анализа, а также устанавливать согласованные стандарты ввода данных для предотвращения дубликатов.
• Своевременность: Данные обновляются так часто, как это необходимо, в том числе в реальном времени, чтобы гарантировать их соответствие требованиям пользователей к точности, доступности и наличию. Это помогает предоставлять данные фондового рынка в реальном времени для принятия своевременных инвестиционных решений, предоставлять актуальную информацию о клиентах для немедленного отклика и персонализированного взаимодействия, предлагать оперативные данные в реальном времени, обеспечивать своевременные данные логистики для точной информации об отслеживании и обновлять медицинские записи в реальном времени.
• Достоверность: Данные соответствуют определенным бизнес-правилам и попадают в допустимые параметры при применении этих правил. Это помогает обеспечить достоверность информации о кредитных картах для безопасных онлайн-транзакций и предотвращения мошенничества, подтвердить точность адресов для доставки, проверить данные научных исследований для результатов работы и гарантировать юридическую силу документов и контрактов.
• Дублирование: В наборе данных отсутствуют множественные, ненужные представления одних и тех же объектов данных. Невозможность поддерживать единое представление для каждой сущности в ваших системах создает многочисленные уязвимости и риски. Предотвращение дублирования помогает избежать появления нескольких записей для одного и того же клиента, поддерживать точность товарных запасов в магазине и обеспечивать точность медицинских карт пациентов.
• Уникальность: Ни одна запись не встречается в наборе данных более одного раза, даже если она присутствует в нескольких местах. Каждую запись можно однозначно идентифицировать и получить к ней доступ как внутри набора данных, так и в различных приложениях. Это помогает проверять уникальные идентификаторы продуктов для предотвращения ошибок в управлении запасами, предоставлять уникальные идентификаторы пациентов в системах здравоохранения, применять уникальные идентификаторы сотрудников для ведения точного кадрового учета и создавать уникальные ключи данных для обеспечения их целостности.

Все семь измерений качества данных важны, но вашей организации может потребоваться уделять одним из них больше внимания, чем другим. Это зависит от конкретных сценариев использования, которые вы поддерживаете. Например, фармацевтическая промышленность требует точности, в то время как компании, предоставляющие финансовые услуги, должны уделять первостепенное внимание достоверности.

Примеры метрик качества данных

Некоторые метрики качества данных являются одинаковыми для разных организаций и отраслей. Например, им необходимо гарантировать точность платежной информации и информации о доставке клиентов, предоставление веб-сайтом всех необходимых сведений о продуктах и услугах, а также актуальность и правильность записей о сотрудниках.

Вот несколько примеров, связанных с различными отраслями:

• Здравоохранение: Организациям здравоохранения необходимы полные, корректные и уникальные записи о пациентах. Это обеспечивает правильность лечения, точное выставление счетов, управление рисками и более эффективное ценообразование на продукты.
• Государственный сектор: Агентствам государственного сектора необходимы полные, согласованные и точные данные о гражданах, предлагаемых инициативах и текущих проектах, чтобы понимать, насколько успешно они достигают своих целей.
• Финансовые услуги: Компании, предоставляющие финансовые услуги, должны выявлять конфиденциальные данные и защищать их, автоматизировать процессы отчетности, а также контролировать соблюдение нормативных требований и устранять нарушения.
• Производство: Производителям необходимо вести точный учет клиентов и поставщиков. Они также должны вовремя получать уведомления о проблемах с обеспечением качества и потребностях в техническом обслуживании. Кроме того, им необходимо отслеживать общие расходы на поставщиков для поиска возможностей снижения операционных затрат.

Проблемы с качеством данных, на которые следует обратить внимание

Потенциальные последствия низкого качества данных варьируются от незначительных неудобств до краха бизнеса. Проблемы с качеством данных приводят к пустой трате времени, снижению производительности и росту затрат. Они также могут подорвать удовлетворенность клиентов, нанести ущерб репутации бренда и заставить организацию платить крупные штрафы за несоблюдение нормативных требований. Они могут даже угрожать безопасности клиентов или общественности.

Вот несколько примеров компаний, которые столкнулись с последствиями проблем качества данных и нашли способ их решения:

• Низкое качество данных скрывает ценные возможности для перекрестных продаж и допродаж. Из-за этого компания испытывает трудности с выявлением пробелов в своем ассортименте, которые могли бы вдохновить на создание инновационных продуктов и услуг или позволить выйти на новые рынки. Данные о клиентах Nissan Europe были ненадежными и рассредоточенными по различным изолированным системам. Из-за этого компании было трудно создавать персонализированные предложения и эффективно нацеливать их. Улучшив качество данных, компания теперь лучше понимает своих текущих и потенциальных клиентов. Это помогло улучшить коммуникацию с клиентами и повысить коэффициенты конверсии при одновременном снижении маркетинговых затрат.
• Низкое качество данных приводит к пустой трате времени и необходимости переделывать работу, когда ручные процессы дают сбой или требуют постоянной проверки на точность. Компания CA Technologies столкнулась с перспективой потратить месяцы на ручное исправление и обополнение контактных данных клиентов для масштабной миграции в Salesforce. Интегрировав автоматическую проверку электронной почты и другие меры по обеспечению качества данных в процесс миграции и интеграции, компания смогла задействовать меньшую команду миграции, чем ожидалось. Они завершили проект за треть отведенного времени с заметно лучшими данными.

Взаимосвязь между качеством данных и управлением данными

Управление данными служит общей структурой, которая направляет деятельность по работе с данными в организации и регулирует ее. Качество данных является важнейшим аспектом управления данными, поскольку оно также направлено на обеспечение соблюдения перечисленных выше измерений качества данных. Хотя управление данными и качество данных взаимозависимы, они также взаимно подкрепляют друг друга. Эффективное управление данными обеспечивает структуру, необходимую для установления высоких стандартов качества данных.

Как управление данными поддерживает улучшение качества данных

Управление данными способствует повышению качества данных за счет распределения ответственности за качество данных по всей организации. Это гарантирует, что конкретные лица или команды несут ответственность за качество данных. Управление данными также предоставляет необходимые полномочия для соблюдения стандартов качества данных. С помощью управления данными организации могут распределять ресурсы, определять рабочие процессы и внедрять инструменты обеспечения качества данных для поддержки инициатив по улучшению его качества.

Как управление данными устанавливает стандарты и политику качества данных

Управление данными способствует сотрудничеству между различными заинтересованными сторонами, участвующими в управлении данными и обеспечении их качества. Это формирует культуру осведомленности о качестве данных и его повышения. Что касается установления стандартов и политики качества данных, управление данными определяет и устанавливает их на основе передового опыта отрасли и нормативных требований. Управление данными также гарантирует, что стандарты качества данных соответствуют бизнес-целям и потребностям заинтересованных сторон. Кроме того, управление данными устанавливает правила и процедуры оценки, измерения и мониторинга качества данных, позволяя организациям непрерывно наблюдать за качеством данных и улучшать его.

Влияние управления данными на целостность и точность данных

Управление данными обеспечивает внедрение правил и механизмов проверки данных для поддержания их целостности. С помощью управления данными организации могут устанавливать элементы контроля качества данных, проверки качества данных и методы профилирования данных для выявления и устранения неточностей в данных. Управление данными также обеспечивает соблюдение процессов улучшения качества данных, таких как очистка данных, обогащение данных и исправление данных, для повышения точности данных и решения проблем с их качеством. Внедряя практики управления данными, организации могут создавать системы и метрики качества данных для измерения и мониторинга целостности и точности данных.

Четыре шага к улучшению качества ваших данных

• Обнаружение
• Вы можете спланировать свое путешествие к качеству данных только тогда, когда поймете свою отправную точку. Для этого вам нужно оценить текущее состояние ваших данных. Определите, что у вас есть, где они хранятся, их конфиденциальность, взаимосвязи данных и любые проблемы с их качеством.

Вы можете спланировать свое путешествие к качеству данных только тогда, когда поймете свою отправную точку. Для этого вам нужно оценить текущее состояние ваших данных. Определите, что у вас есть, где они хранятся, их конфиденциальность, взаимосвязи данных и любые проблемы с их качеством.

• Определите правила
• Информация, которую вы собираете на этапе обнаружения, формирует ваши решения о мерах по обеспечению качества данных, которые вам необходимы, и правилах, которые вы создадите для достижения желаемого конечного состояния. Например, вам может потребоваться очистить и дедуплицировать данные, стандартизировать их формат или удалить данные до определенной даты. Обратите внимание, что это совместный процесс между бизнес-подразделениями и ИТ.

Информация, которую вы собираете на этапе обнаружения, формирует ваши решения о мерах по обеспечению качества данных, которые вам необходимы, и правилах, которые вы создадите для достижения желаемого конечного состояния. Например, вам может потребоваться очистить и дедуплицировать данные, стандартизировать их формат или удалить данные до определенной даты. Обратите внимание, что это совместный процесс между бизнес-подразделениями и ИТ.

• Примените правила
• После того как вы определили правила, вы интегрируете их в свои конвейеры данных. Не замыкайтесь в изоляции; ваши инструменты обеспечения качества данных должны быть интегрированы во все источники и целевые системы данных, чтобы исправить качество данных во всей организации.

После того как вы определили правила, вы интегрируете их в свои конвейеры данных. Не замыкайтесь в изоляции; ваши инструменты обеспечения качества данных должны быть интегрированы во все источники и целевые системы данных, чтобы исправить качество данных во всей организации.

• Мониторинг и управление
• Качество данных — это не разовая задача. Чтобы поддерживать его, вы должны иметь возможность непрерывно отслеживать все процессы обеспечения качества данных и составлять по ним отчеты, как локально, так и в облаке, используя панели мониторинга, системы показателей и визуализацию.

Качество данных — это не разовая задача. Чтобы поддерживать его, вы должны иметь возможность непрерывно отслеживать все процессы обеспечения качества данных и составлять по ним отчеты, как локально, так и в облаке, используя панели мониторинга, системы показателей и визуализацию.

Истории успеха клиентов в области качества данных

Hackensack Meridian Health

Hackensack Meridian Health — крупнейшая система здравоохранения в Нью-Джерси. Она стремилась справиться с быстрым ростом за счет слияний и поглощений (M&A) путем сопоставления данных пациентов из нескольких систем электронных медицинских карт (ЭМК). Система здравоохранения направила основные данные обратно в разрозненные системы ЭМК и автоматически каталогизировала метаданные из более чем 15 источников данных. Это обеспечило им высокое качество данных, необходимое для лучшего поиска, понимания и проверки миллионов информационных активов. Это также связало изолированные данные о посещениях пациентов между дубликатами и сократило общее количество записей о пациентах на 49% — с 6,5 млн до 3,2 млн.

AIA Singapore

Одна из ведущих фирм по оказанию финансовых и страховых услуг в Сингапуре, компания AIA Singapore внедрила Informatica Data Quality для профилирования своих данных, отслеживания ключевых показателей эффективности (KPI) и выполнения исправления. Более высокое качество данных обеспечивает более глубокое понимание информации о клиентах и других критически важных бизнес-данных, что, в свою очередь, помогает фирме оптимизировать продажи, процесс принятия решений и операционные расходы.

Начните раскрывать ценность своих данных

Данные повсюду, и качество данных имеет решающее значение для извлечения из них максимальной пользы. Помните об этих принципах при работе над улучшением качества данных:

• Сделайте это общекорпоративной стратегической инициативой.
• Подчеркивайте важность качества данных для управления данными (data governance).
• Интегрируйте качество данных в свои операции.
• Взаимодействуйте с бизнес-пользователями для контекстуализации данных и оценки их ценности.
• Расширяйте качество данных на новые области (озёра данных, ИИ, IoT) и новые источники данных.
• Используйте ИИ/МО для автоматизации повторяющихся задач, таких как слияние записей и сопоставление по шаблонам.

Все это становится намного проще с использованием платформы Informatica Intelligent Data Management Cloud (IDMC), которая объединяет качество данных в более широкую инфраструктуру, затрагивающую все корпоративные данные.

Ресурсы по качеству данных

• Блог: Машинное обучение нуждается в качестве данных
• Статья: Шесть шагов по проверке и исправлению качества данных
• Бесплатная пробная версия: Informatica Cloud Data Quality