Что такое качество данных?

Что мне нужно знать о качестве данных?

Качественные данные — это полезные данные. А данные низкого качества могут иметь негативные последствия. К ним относятся потенциальные бизнес-риски, финансовые потери и репутационный ущерб. Чтобы данные были качественными, они должны быть согласованными и однозначными. Проблемы с качеством данных часто возникают в результате слияния баз данных или процессов интеграции систем/облачных сред. В таких случаях поля данных, которые должны быть совместимы, оказываются несовместимыми из-за различий в схемах или форматах. Но в более широком смысле проблемы с качеством данных также могут быть вызваны человеческим фактором, системными ошибками и повреждением данных.

Проблемы с качеством данных могут возникать из-за неполноты, неточности, несогласованности или дублирования данных. Это происходит, когда существуют несколько копий одних и тех же данных, что приводит к расхождениям. Данные с любыми из этих проблем могут пройти очистку для повышения их качества. Эффективные процессы проверки данных и управления данными также помогают обеспечить качество данных.

Почему важно эффективное управление качеством данных?

Мероприятия по обеспечению качества данных включают рационализацию и проверку данных. Усилия по обеспечению качества данных часто необходимы при интеграции разрозненных приложений. Это может происходить во время слияний и поглощений. Это также применимо, когда изолированные системы данных внутри одной организации впервые объединяются в облачном хранилище данных или озере данных. Качество данных также критически важно для эффективности горизонтальных бизнес-приложений. К ним относятся планирование ресурсов предприятия (ERP) и управление взаимоотношениями с клиентами (CRM).

Каковы преимущества качества данных?

Когда данные обладают отличным качеством, их можно легко обрабатывать и анализировать. Это приводит к получению аналитических выводов, которые помогают организации принимать более обоснованные решения. Высококачественные данные необходимы для аналитики, инициатив в области ИИ и бизнес-аналитики. Таким образом, поддержание высоких стандартов качества данных может помочь организациям обеспечить соблюдение нормативных требований, улучшить качество обслуживания клиентов, стимулировать инновации на основе данных и расширить возможности принятия решений. Это приносит пользу компаниям в разных отраслях: от улучшения ухода за пациентами в здравоохранении до оптимизации операций цепочки поставок в розничной торговле и обеспечения персонализации банковских предложений в сфере финансовых услуг.

Помимо помощи вашей организации в извлечении большей ценности из данных, процесс управления качеством данных повышает эффективность и производительность организации. Он также снижает риски и затраты, связанные с данными низкого качества. Короче говоря, качество данных — это фундамент доверенных данных, которые стимулируют цифровую трансформацию. Стратегические инвестиции в качество данных будут окупаться неоднократно, в различных сценариях использования, по всей организации.

Фундаментальные компоненты качества данных

Успех управления качеством данных измеряется несколькими факторами. К ним относятся ваша уверенность в точности анализа, то, насколько хорошо данные поддерживают различные инициативы, и то, как быстро эти инициативы приносят ощутимую стратегическую ценность.

Чтобы достичь всех этих целей, ваши инструменты обеспечения качества данных должны уметь:

• Поддерживать практически все сценарии использования. Для миграции данных требуются иные метрики качества, чем для аналитики нового поколения. Избегайте универсального подхода. Вместо этого выберите одно интегрированное решение, которое позволит вам подобрать нужные возможности для ваших конкретных задач. Например, если вы переносите данные, вам сначала нужно понять, какие данные у вас есть (профилирование), прежде чем перемещать их. Для аналитических задач вам потребуется очистить, проанализировать, стандартизировать и дедуплицировать данные.
• Ускорять и масштабировать. Качество данных одинаково критично для веб-сервисов, пакетной обработки, больших данных и рабочих нагрузок в реальном времени. Данные должны быть надежными, защищенными, управляемыми и пригодными для использования. Это не зависит от того, где они находятся (локально или в облаке) или от их скорости (пакетная, реального времени, датчики/IoT и так далее). Ищите решение, которое масштабируется для любой рабочей нагрузки во всех отделах. Возможно, вы захотите начать с контроля качества данных в рамках одного приложения или процесса. В этом случае вы будете использовать готовые бизнес-правила и ускорители, а также инструменты самообслуживания на основе ролей для профилирования, подготовки и очистки данных. Затем, когда вы будете готовы расширить программу, вы сможете развернуть те же бизнес-правила и процессы очистки для всех приложений и типов данных в масштабе всей компании.
• Обеспечивать гибкий пользовательский интерфейс. Специалисты по анализу данных, ответственные за данные (data stewards) и потребители данных имеют специфические возможности, навыки и интересы в работе с данными. Выберите решение для обеспечения качества данных, которое адаптирует пользовательский интерфейс в зависимости от роли. Таким образом, все члены вашей команды смогут достигать своих целей без вмешательства ИТ-отдела.
• Автоматизировать критические задачи. Объем, разнообразие и скорость современных корпоративных данных делают ручное управление качеством данных невозможным. Решение для управления данными на базе ИИ может автоматически оценивать качество данных и давать интеллектуальные рекомендации, которые оптимизируют ключевые задачи. К ним относятся обнаружение данных и создание правил качества данных по всей организации.

Как избежать проблем с качеством данных

Чтобы избежать проблем, важно понимать ключевые атрибуты качества данных. Качество данных работает в семи основных измерениях:

• Точность: данные отражают реальные объекты и/или события, которые они призваны моделировать. Точность часто измеряется тем, насколько значения согласуются с источником информации, который считается достоверным. Это помогает обеспечить точность информации о клиентах для персонализированных/целевых маркетинговых кампаний, финансовых данных для точной финансовой отчетности, данных о продуктах для платформ электронной коммерции и данных об инвентаризации для эффективного управления цепочками поставок.
• Полнота: данные предоставляют все необходимые записи и значения. Это помогает создавать комплексные профили клиентов, обеспечивать полноту транзакционных данных для анализа и прогнозирования, содержать полные истории болезней пациентов для точной диагностики и собирать полные данные обратной связи для получения надежных аналитических выводов о клиентах.
• Согласованность: значения данных, полученные из нескольких источников, не конфликтуют друг с другом в рамках записи или по всем значениям одного атрибута. Обратите внимание, что согласованные данные не обязательно являются точными или полными. Это помогает обеспечить соблюдение согласованных форматов и структуры данных для эффективной интеграции, гарантировать единообразие классификации продуктов и атрибутов для их сравнения, поддерживать согласованные определения и коды данных для анализа, а также установить единые стандарты ввода данных для предотвращения дубликатов.
• Своевременность: данные обновляются так часто, как это необходимо, включая режим реального времени, чтобы гарантировать соответствие требованиям пользователей к точности, доступности и готовности. Это помогает предоставлять данные фондового рынка в реальном времени для принятия своевременных инвестиционных решений, обеспечивать актуальную информацию о клиентах для немедленного реагирования и персонализированного взаимодействия, предлагать оперативные данные в реальном времени, обеспечивать своевременные логистические данные для точного отслеживания и обновлять медицинские записи в режиме реального времени.
• Валидность: Данные соответствуют определенным бизнес-правилам и попадают в допустимые параметры при применении этих правил. Это помогает обеспечить достоверность информации о кредитных картах для безопасных онлайн-транзакций и предотвращения мошенничества, подтвердить точность адресов для доставки, проверить данные научных исследований для результатов испытаний, а также обеспечить юридическую силу документов и контрактов.
• Дублирование: В наборе данных отсутствуют множественные ненужные представления одних и тех же объектов данных. Неспособность поддерживать единое представление для каждой сущности в ваших системах создает многочисленные уязвимости и риски. Предотвращение дублирования помогает избежать создания нескольких записей для одного и того же клиента, поддерживать точность товарных запасов и обеспечивать точность медицинских карт пациентов.
• Уникальность: Ни одна запись не встречается в наборе данных более одного раза, даже если она присутствует в нескольких местах. Каждую запись можно однозначно идентифицировать и получить к ней доступ как внутри набора данных, так и в различных приложениях. Это помогает проверять уникальные идентификаторы продуктов для предотвращения ошибок в управлении запасами, предоставлять уникальные идентификаторы пациентов в системах здравоохранения, применять уникальные идентификаторы сотрудников для точных записей HR и устанавливать уникальные ключи данных для обеспечения их целостности.

Все семь из этих аспектов качества данных важны, но вашей организации может потребоваться уделять одним из них больше внимания, чем другим. Это зависит от конкретных сценариев использования, которые вы поддерживаете. Например, фармацевтическая индустрия требует точности, в то время как компании, предоставляющие финансовые услуги, должны уделять первостепенное внимание валидности.

Примеры метрик качества данных

Некоторые метрики качества данных одинаковы для всех организаций и отраслей. Например, им необходимо убедиться, что информация о выставлении счетов и доставке клиентов является точной, что веб-сайт предоставляет все необходимые сведения о продуктах и услугах, а записи о сотрудниках актуальны и правильны.

Вот несколько примеров, связанных с различными отраслями:

• Здравоохранение: Организациям здравоохранения необходимы полные, корректные и уникальные записи пациентов. Это обеспечивает правильное лечение, точное выставление счетов, управление рисками и более эффективное ценообразование на продукты.
• Государственный сектор: Госучреждениям необходимы полные, согласованные и точные данные о гражданах, предлагаемых инициативах и текущих проектах, чтобы понимать, насколько успешно они достигают своих целей.
• Финансовые услуги: Финансовые компании должны выявлять и защищать конфиденциальные данные, автоматизировать процессы отчетности, а также отслеживать соблюдение нормативных требований и устранять нарушения.
• Производство: Производителям необходимо вести точные учетные записи клиентов и поставщиков. Они также должны своевременно получать уведомления о проблемах с обеспечением качества и потребностях в техническом обслуживании. Кроме того, им необходимо отслеживать общие расходы на поставщиков для поиска возможностей снижения операционных затрат.

Проблемы с качеством данных, на которые следует обратить внимание

Потенциальные последствия низкого качества данных варьируются от незначительных неудобств до краха бизнеса. Проблемы с качеством данных тратят впустую время, снижают производительность и увеличивают затраты. Они также могут ухудшить удовлетворенность клиентов, нанести ущерб репутации бренда и заставить организацию платить крупные штрафы за несоблюдение нормативных требований. Они могут даже угрожать безопасности клиентов или населения.

Вот несколько примеров компаний, которые столкнулись с последствиями проблем качества данных и нашли способы их решения:

• Низкое качество данных скрывает ценные возможности для перекрестных продаж и допродаж. Из-за этого компании сложно выявить пробелы в своих предложениях, которые могли бы послужить источником вдохновения для инновационных продуктов и услуг или позволить выйти на новые рынки. Данные о клиентах компании Nissan Europe были ненадежными и рассредоточенными по различным изолированным системам. Из-за этого компании было трудно создавать персонализированные предложения и эффективно нацеливать их. Улучшив качество данных, компания теперь лучше понимает своих текущих и потенциальных клиентов. Это помогло улучшить общение с клиентами и повысить коэффициент конверсии при одновременном снижении затрат на маркетинг.
• Низкое качество данных приводит к пустой трате времени и необходимости переделывать работу, когда ручные процессы дают сбой или требуют постоянной проверки на точность. Компания CA Technologies столкнулась с необходимостью потратить месяцы на ручное исправление и улучшение контактных данных клиентов для крупной миграции на Salesforce. Интегрируя автоматическую проверку электронной почты и другие меры по обеспечению качества данных в процесс миграции и интеграции, компания смогла использовать меньшую команду миграции, чем ожидалось. Они завершили проект за треть отведенного времени, получив при этом значительно лучшие данные.

Взаимосвязь между качеством данных и управлением данными

Управление данными служит всеобъемлющей основой, которая направляет и регулирует деятельность, связанную с данными, внутри организации. Качество данных является важнейшим аспектом управления данными, так как оно также сосредоточено на обеспечении перечисленных выше параметров качества данных. Хотя управление данными и качество данных взаимозависимы, они также взаимно подкрепляют друг друга. Эффективное управление данными обеспечивает структуру, необходимую для установления высоких стандартов качества данных.

Как управление данными поддерживает улучшение качества данных

Управление данными поддерживает повышение качества данных путем распределения ответственности за качество данных по всей организации. Это гарантирует, что за качество данных несут ответственность конкретные лица или команды. Управление данными также предоставляет необходимые полномочия для соблюдения стандартов качества данных. Посредством управления данными организации могут распределять ресурсы, определять рабочие процессы и внедрять инструменты для поддержки инициатив по повышению качества данных.

Как управление данными устанавливает стандарты и политику качества данных

Управление данными способствует сотрудничеству между различными заинтересованными сторонами, участвующими в управлении данными и обеспечении их качества. Это способствует формированию культуры осознания качества данных и его улучшения. Что касается установления стандартов и политики качества данных, управление данными определяет и внедряет их на основе передового опыта отрасли и нормативных требований. Управление данными также гарантирует, что стандарты качества данных соответствуют бизнес-целям и потребностям заинтересованных сторон. Управление данными также устанавливает политику и процедуру оценки, измерения и мониторинга качества данных, позволяя организациям непрерывно наблюдать за качеством данных и улучшать его.

Влияние управления данными на целостность и точность данных

Управление данными обеспечивает внедрение правил и механизмов валидации данных для поддержания их целостности. С помощью управления данными организации могут внедрять средства контроля качества данных, проверки качества данных и методы профилирования данных для выявления и устранения неточностей в данных. Управление данными также обеспечивает соблюдение процессов улучшения качества данных, таких как очистка данных, обогащение данных и исправление данных, для повышения их точности и устранения проблем с качеством. Внедряя практики управления данными, организации могут создавать фреймворки и метрики качества данных для измерения и мониторинга целостности и точности данных.

Четыре шага к повышению качества данных

• Обнаружение
• Вы сможете спланировать свой путь к повышению качества данных только тогда, когда поймете свою отправную точку. Для этого вам нужно оценить текущее состояние ваших данных. Определите, что у вас есть, где это хранится, какова степень конфиденциальности данных, каковы взаимосвязи между ними и какие проблемы с качеством существуют.

Вы сможете спланировать свой путь к повышению качества данных только тогда, когда поймете свою отправную точку. Для этого вам нужно оценить текущее состояние ваших данных. Определите, что у вас есть, где это хранится, какова степень конфиденциальности данных, каковы взаимосвязи между ними и какие проблемы с качеством существуют.

• Определите правила
• Информация, которую вы собираете на этапе обнаружения, формирует ваши решения о необходимых мерах по обеспечению качества данных и правилах, которые вы создадите для достижения желаемого конечного состояния. Например, вам может потребоваться очистить и дедуплицировать данные, стандартизировать их формат или удалить данные, созданные до определенной даты. Обратите внимание, что это совместный процесс между бизнес-подразделениями и ИТ-отделом.

Информация, которую вы собираете на этапе обнаружения, формирует ваши решения о необходимых мерах по обеспечению качества данных и правилах, которые вы создадите для достижения желаемого конечного состояния. Например, вам может потребоваться очистить и дедуплицировать данные, стандартизировать их формат или удалить данные, созданные до определенной даты. Обратите внимание, что это совместный процесс между бизнес-подразделениями и ИТ-отделом.

• Примените правила
• После того как вы определили правила, вы интегрируете их в свои конвейеры данных. Не ограничивайтесь рамками одного отдела; ваши инструменты обеспечения качества данных должны быть интегрированы со всеми источниками и целевыми системами, чтобы исправить качество данных во всей организации.

После того как вы определили правила, вы интегрируете их в свои конвейеры данных. Не ограничивайтесь рамками одного отдела; ваши инструменты обеспечения качества данных должны быть интегрированы со всеми источниками и целевыми системами, чтобы исправить качество данных во всей организации.

• Мониторинг и управление
• Качество данных — это не разовая задача. Чтобы поддерживать его, вам необходимо иметь возможность непрерывно отслеживать все процессы обеспечения качества данных и составлять отчеты по ним, как локально, так и в облаке, используя информационные панели, оценочные карты и визуализации.

Качество данных — это не разовая задача. Чтобы поддерживать его, вам необходимо иметь возможность непрерывно отслеживать все процессы обеспечения качества данных и составлять отчеты по ним, как локально, так и в облаке, используя информационные панели, оценочные карты и визуализации.

Истории успеха клиентов в области качества данных

Hackensack Meridian Health

Hackensack Meridian Health — крупнейшая система здравоохранения в Нью-Джерси. Она стремилась справиться с быстрым ростом в результате слияний и поглощений (M&A) путем согласования данных пациентов из нескольких систем электронных медицинских карт (EMR). Система здравоохранения направила основные данные обратно в разрозненные системы EMR и автоматически каталогизировала метаданные из более чем 15 источников данных. Это обеспечило высокое качество данных, необходимое для более эффективного обнаружения, понимания и проверки миллионов информационных активов. Это также позволило объединить разрозненные данные о посещениях пациентов, устранить дубликаты и сократить общее количество записей пациентов на 49% — с 6,5 млн до 3,2 млн.

AIA Singapore

Одна из ведущих финансовых и страховых компаний Сингапура, AIA Singapore, внедрила Informatica Data Quality для профилирования своих данных, отслеживания ключевых показателей эффективности (KPI) и выполнения корректирующих действий. Более качественные данные создают более глубокое понимание информации о клиентах и других критически важных бизнес-данных, что, в свою очередь, помогает фирме оптимизировать продажи, процесс принятия решений и операционные расходы.

Начните раскрывать ценность ваших данных

Данные повсюду, и качество данных имеет решающее значение для их максимального использования. Помните об этих принципах, работая над улучшением качества ваших данных:

• Сделайте это стратегической инициативой в масштабах всего предприятия.
• Подчеркните важность качества данных для управления данными (data governance).
• Интегрируйте качество данных в свои операционные процессы.
• Сотрудничайте с бизнес-пользователями, чтобы контекстуализировать данные и оценить их ценность.
• Расширяйте область применения качества данных на новые направления (озера данных, ИИ, IoT) и новые источники данных.
• Используйте ИИ/машинное обучение для автоматизации повторяющихся задач, таких как объединение записей и сопоставление шаблонов.

Все это становится намного проще с Informatica Intelligent Data Management Cloud (IDMC), которая включает качество данных в более широкую инфраструктуру, затрагивающую все корпоративные данные.

Ресурсы по качеству данных

• Блог: Машинное обучение нуждается в качестве данных
• Статья: Шесть шагов для проверки и исправления качества данных
• Бесплатная пробная версия: Informatica Cloud Data Quality