Как оценивать функции ИИ на предмет валидности, предвзятости и качества данных
Междисциплинарные команды, включая специалистов по продуктам, разработке и безопасности пациентов, оценивают функции медицинского ИИ на предмет их целевого назначения и реальных условий. Представьте себе автомобиль, который ездит сам по себе по тестовому треку. Это впечатляет, но настоящий вопрос заключается в том, как он справляется с объездом строительных работ, плохой видимостью или любой другой реальной ситуацией, которую разработчики не предусмотрели.
Медицинский ИИ заслуживает такого же внимания к условиям, в которых будет использоваться продукт. Тщательная оценка требует широкого спектра задач, выходящих далеко за рамки одного лишь результата точности. Например: выполняет ли решение поставленную задачу? Различается ли производительность для разных групп пациентов? Подходят ли исходные данные для этого использования?
Оценка, специфичная для ИИ, дополняет базовые элементы контроля, такие как проверка безопасности пациентов, требования к разработке программного обеспечения, информационная безопасность и договорные гарантии.
Именно поэтому успешная оценка ИИ должна отражать задачи функции и клинический риск, использовать определенные стандарты до выпуска и продолжаться после развертывания. Тщательная оценка обеспечивает основу для доверия, предоставляя руководителям здравоохранения доказательства, на которых можно основывать уверенность в целевом назначении функции.
Начните с клинической задачи и того, что может пойти не так
Рассмотрим гипотетический визит, на котором клиницист обсуждает с пациентом изменение схемы приема лекарств. Функция ИИ превращает информацию о встрече в проект заметки для проверки клиницистом. Проект читается гладко, но в нем опущено изменение лекарственной терапии.
Этот пример показывает, почему оценка должна начинаться с целевого назначения функции. Создание удобочитаемого текста — это лишь часть работы. Проект также должен точно фиксировать информацию, имеющую отношение к его назначению в качестве документа.
Перед тестированием междисциплинарные команды должны определить, какие ошибки могут иметь значение в данном рабочем процессе. Для этой функции создания проекта заметки они могут задать следующие вопросы:
- Сохраняет ли проект важную информацию, обсуждавшуюся во время встречи?
- Кто проверяет его и когда они могут выявить и исправить упущение?
- Если упущение останется в утвержденной заметке, может ли это повлиять на то, как другой клиницист поймет встречу или воспользуется записью в дальнейшем?
Проверка человеком является частью оценки рисков, но она не отменяет необходимости оценки качества самого проекта. Понимание задачи, клинического контекста, надзора и потенциальных последствий помогает командам определить, что именно измерять с точки зрения валидности, предвзятости и качества данных.
Оценивайте функцию по трем критическим измерениям: валидность, предвзятость и качество данных
Валидность, предвзятость и качество данных составляют основу для оценки функции ИИ. Вместе они помогают командам более тщательно изучить производительность, чем один общий показатель точности, оставаясь при этом частью более широкого процесса оценки. В зависимости от целевого назначения и рисков функции может потребоваться дополнительная оценка для проверки надежности, безопасности и защищенности.
Валидность: выполняет ли она то, что должна?
Валидность означает, что функция выполняет свою задачу правильно и достаточно надежно для своего определенного назначения.
Например, точно ли созданные ИИ проекты заметок о визите отражают информацию о встрече, необходимую для их целевого назначения в качестве документа? Достаточно ли они лаконичны, чтобы нужную информацию было легко найти, без опущения важных деталей? Заметка может быть фактологически точной, но при этом содержать ненужные детали или повторения, которые усложняют ее использование клиницистом.
Изучение ошибок, имеющих значение для задачи, помогает командам оценить, достаточно ли эффективно функция справляется со своим целевым назначением, и вносить улучшения при необходимости. Эти выводы укрепляют уверенность в ее полезности и надежности.
Предвзятость: работает ли она одинаково для различных демографических групп пациентов?
Функция ИИ должна хорошо работать для всех групп пациентов. Другими словами, общий результат может скрывать более худшие показатели для небольшой группы пациентов и может не давать достаточных оснований для уверенности по всем соответствующим группам. Например, тот факт, что функция хорошо работает для пациентов в возрасте 35–44 лет, не обязательно означает, что она так же хороша для пациентов в возрасте 65 лет и старше.
Поэтому продуктовые команды должны смотреть шире объединенных результатов и изучать производительность в различных группах пациентов, имеющих отношение к целевому назначению функции. Различается ли производительность в этих группах? Являются ли какие-либо различия клинически значимыми?
Измерение различий помогает команде исследовать потенциальную предвзятость, но это не доказывает, что функция свободна от предвзятости. Функция нуждается в оценке, даже если клиницист проверяет ее результат. Клиницист может исправить проект, но это не подтверждает, стабильно ли хорош проект для разных групп пациентов. Кроме того, само по себе наблюдение различий в производительности не устанавливает их причину; оно дает команде пищу для дальнейшего исследования.
Качество данных: подходят ли данные для целевого назначения функции?
Продуктовые команды должны оценивать как информацию, на которую опирается функция, так и информацию, используемую для ее оценки. Для функции создания проекта заметки исходная информация может включать стенограмму встречи. Данные оценки могут включать набор встреч и справочных материалов, используемых для оценки полученных проектов.
Отсутствующая, неточная или неоднозначная исходная информация может повлиять на результат работы функции. Данные оценки, которые плохо отражают целевые популяции и условия, могут ограничить то, что результаты говорят команде о производительности.
Именно поэтому данные оценки должны быть полными, репрезентативными и надежными:
- Полные: включает ли информация то, что необходимо для выполнения задачи? Отсутствие релевантной информации может ограничить как производительность, так и оценку.
- Репрезентативные: включает ли оценка популяции, условия и рабочие процессы, в которых должна работать функция?
- Надежные: может ли команда полагаться на точность и последовательность информации? Например, в случае с проектом заметки это может означать проверку того, что справочный материал, используемый в созданной ИИ заметке, точно отражает исходную встречу.
Команды также должны понимать, чего оценка не устанавливает. Данные из одной медицинской специальности могут давать ограниченное представление о производительности в другой. Ограниченное представление группы пациентов может сделать выводы об этой группе менее достоверными. Уверенность в полученных результатах отчасти зависит от того, являются ли доказательства надежными и актуальными для предполагаемого использования.
Условия здравоохранения меняются. Оценки, сделанные во время разработки, должны продолжаться на протяжении всего жизненного цикла функции, по мере ее распространения на новые популяции пациентов или изменения информации, поступающей в рабочий процесс.
Порог — это то, что превращает оценку в управление
Порог — это определенный предел для соответствия применимому требованию к производительности. Команды устанавливают эти требования до официальной оценки, измеряют производительность и сравнивают полученные результаты с пороговыми значениями. Использование этих данных для принятия решения о том, готова ли функция к внедрению, связывает оценку с управлением.
Для гипотетической функции создания черновиков заметок команда может оценить, являются ли заметки лаконичными и при этом сохраняют ли важную информацию. Выводы о ненужных деталях, повторах или упущениях могут помочь команде определить, где функция нуждается в доработке. Внеся изменения, команда может провести оценку повторно, чтобы определить, привели ли эти изменения к улучшению работы. Это наделяет оценку постоянной ролью в разработке продукта: выявление слабых мест, руководство по улучшению и измерение прогресса.
Три базовых вида оценки — достоверность, предвзятость и качество данных — работают в комплексе. Командам следует рассматривать эти результаты наряду с любыми дополнительными оценками, необходимыми для предполагаемого использования функции и связанных с ним рисков. Продуктовая команда должна определить, как она будет интерпретировать полученные данные, расследовать существенные недостатки и использовать результаты при принятии решения о готовности функции к внедрению. Выполнение одного требования не означает общую готовность, а требования к производительности, специфичные для ИК, остаются в силе наряду с более широкими мерами контроля безопасности пациентов и другими требованиями.
Как отмечалось в предыдущей статье об управлении ИИ, управление становится осязаемым благодаря решениям, которые оно порождает. Четко определенные требования придают результатам оценки значение для разработки и выпуска продукта, способствуя созданию более надежного процесса.
Оценка не прекращается с запуском функции
Оценка до выпуска предоставляет данные о производительности в условиях, изученных на тот момент, но самое главное — это то, как функция работает в реальных условиях. После развертывания функция может столкнуться с условиями, которые не были в полной мере представлены в ходе этой оценки. Могут произойти изменения в группах пациентов, медицинских специализациях, рабочих процессах или исходной информации. Обновления самой функции, такие как изменения базовой модели или инструкций для функции создания черновиков заметок, также могут повлиять на ее результаты, даже если клинический рабочий процесс остается прежним. Командам следует проводить повторную оценку производительности на соответствие необходимым требованиям перед выпуском таких обновлений. Мониторинг помогает командам определить, когда требуется дальнейшее расследование или оценка.
Это продолжает процесс управления после выпуска: команды продолжают проверять производительность и используют полученные знания для принятия решений по мере изменения использования в реальном мире.
Как это выглядит на практике
На практике этапы оценки связаны между собой, а не являются независимыми пунктами для галочки. Задача и риск определяют стандарты; оценка предоставляет доказательства того, соответствует ли функция стандартам, что определяет ее готовность; а мониторинг проверяет, продолжает ли производительность соответствовать ожиданиям, и сигнализирует о том, когда приходит время для дальнейшей оценки.
Качественная оценка ИИ создана с учетом возможности развития
По мере изменения ИИ-функций и клинических рабочих процессов оценка должна идти с ними в ногу. Выводы, полученные в ходе реального использования, могут выявить пробелы, послужить стимулом для дальнейшего тестирования и лечь в основу усовершенствования продукта.
Оценка достоверности, предвзятости и качества данных дает командам факты для принятия решений о разработке и готовности. Продолжение этой оценки после развертывания помогает им понять, соответствует ли производительность ожиданиям. В совокупности эти методы способствуют созданию более надежного процесса разработки и формируют более прочную основу для уверенности в самом продукте.
Для руководителей сферы здравоохранения это означает поиск доказательств того, как поставщик устанавливает стандарты, оценивает производительность и действует на основе полученных знаний. Доверие растет, когда эти обязательства определяют решения на протяжении всего жизненного цикла функции.
