Что на самом деле регулирует управление ИИ?
По мере того как ИИ внедряется в новые рабочие процессы здравоохранения, руководители медицинских организаций сталкиваются со сложными вопросами: как узнать, что функция ИИ готова к использованию в вашей организации? И как гарантировать ее неизменную надежность по мере того, как меняются ваша организация и сама среда здравоохранения?
Ответы на эти вопросы требуют особого контроля. Функция ИИ может вести себя так, как не ведет себя традиционное ПО: один и тот же ввод может давать разные результаты, а производительность может меняться даже в том случае, когда код остался прежним.
Производительность ИИ также отчасти зависит от условий его использования. Функция может работать иначе при внедрении в новую медицинскую специальность, среди новой группы пациентов, в другом регионе или у нового корпоративного клиента. Данные, поступающие в ИИ, могут меняться. Правила работы страховых компаний могут меняться. Новые заболевания и другие изменения в здравоохранении могут создавать ситуации, с которыми ИИ раньше не сталкивался.
Управление ИИ дает руководителям инструмент для контроля этой вариативности. До выпуска продукта команды должны определить, какими должны быть хорошие показатели производительности, протестировать продукт на соответствие этим ожиданиям и установить четкие пороги для того, что может быть выпущено. После выпуска им необходимо продолжать отслеживать производительность и реагировать, когда результаты требуют повторной проверки.
В этом и заключается разница между документированием намерений организации использовать ИИ ответственно и внедрением управления в процессы разработки, выпуска и администрирования ИИ.
Почему традиционного управления программным обеспечением недостаточно для ИИ
Медицинские организации уже осуществляют управление технологиями посредством контроля безопасности пациентов, разработки ПО, а также мер безопасности, нормативного и договорного контроля. Хотя эти элементы контроля остаются необходимыми, ИИ ставит другой вопрос: работает ли эта функция так, как задумано, для тех людей и в тех условиях, в которых она используется?
Проверки технической работоспособности функции ИИ недостаточно для ответа на этот вопрос. Рассмотрим функцию, оцененную с использованием данных одной группы медицинских специальностей и групп пациентов. Если впоследствии она внедряется в новую специальность или для новой группы пациентов, ее код может остаться прежним, но условия, с которыми она сталкивается, — нет.
Поэтому командам необходимы четко определенные критерии производительности до выпуска, понятные пороги для определения готовности и непрерывный мониторинг для выявления моментов, когда изменяющиеся условия требуют пересмотра.
Традиционные средства контроля регулируют более широкие риски разработки и развертывания медицинских технологий. Специализированное управление ИИ добавляет постоянный контроль за тем, как работает сам ИИ.
Управлению ИИ нужен дополнительный уровень оценки
Практическая реализация управления ИИ начинается с простой идеи: решите, как вы будете оценивать функцию ИИ, прежде чем решите, что она готова.
Перед выпуском это может означать следующие вопросы:
- Насколько точной должна быть клиническая выписка, созданная ИИ?
- Работает ли функция стабильно для соответствующих групп пациентов?
- Являются ли данные, используемые для ее оценки, репрезентативными для условий и способов ее применения?
- После развертывания команды должны продолжать задаваться вопросом, актуальны ли эти ответы по-прежнему.
Определите, что вы измеряете, до начала разработки
Определите успешные показатели производительности на основе предполагаемого использования функции и потенциальных рисков. Производительность ИИ может различаться в разных средах, клинических условиях и среди групп пациентов. Например, хорошая работа модели в первичном звене не обязательно означает, что она будет работать так же хорошо в условиях специализированной или неотложной помощи.
Рассмотрите оценку по трем направлениям:
- Валидность: выполняет ли функция свою задачу точно, надежно и стабильно?
- Предвзятость: различаются ли показатели производительности для соответствующих демографических или клинических групп, или результаты содержат необоснованные допущения на основе характеристик пациента?
- Качество данных: являются ли данные, используемые для разработки, валидации и мониторинга функции, полными, репрезентативными, надежными и подходящими для предполагаемого использования?
Способы измерения этих параметров зависят от самой функции. Например, прогнозная модель и созданная ИИ клиническая выписка представляют разные задачи для оценки. При определении подходящих метрик и степени строгости учитывайте тип функции, уровень участия человека и потенциальный клинический риск.
Команды устанавливают метрики и минимальные пороги производительности до начала официальной оценки. Это снижает риск выбора или изменения метрики из-за того, что результаты выглядят благоприятными, и помогает определить, готова ли функция к выпуску.
, "Измерьте производительность и установите порог выпуска
Как только команды узнают, что именно они измеряют, им нужны доказательства того, что функция соответствует установленным стандартам.
Возьмем, к примеру, решение для ведения медицинской документации на базе ИИ. Один из вопросов заключается в том, являются ли создаваемые им черновые записи точными, полными, полезными, внутренне согласованными и основанными на приеме пациента. Эксперты в области безопасности пациентов и клиницисты помогают определить эти стандарты и оценить производительность в различных условиях оказания помощи. Калиброванная оценка на базе LLM может применять те же стандарты к гораздо более широкой выборке, предоставляя дополнительные данные в дополнение к экспертной оценке.
Но само по себе измерение — это еще не управление. Результаты должны лечь в основу принятия решения.
Команды устанавливают минимальные пороги производительности до начала официальной оценки. Перед тем как функция клинического рабочего процесса становится общедоступной, команды сопоставляют результаты с этими порогами и другими релевантными данными. Обязательные оценки должны быть завершены, существенные выводы расследованы, а применимые требования к производительности выполнены до получения окончательного одобрения.
Это превращает метрику оценки в критерий допуска к выпуску. Вопрос меняется с «Как проявил себя ИИ?» на «Достаточно ли хорошо он сработал для перехода к следующему этапу?»
Продолжайте оценку после развертывания
Достижение минимального порога производительности для выпуска показывает, как функция ИИ работала в определенный момент времени. Это не говорит о том, как она будет работать всегда.
Команды продолжают отслеживать функции клинического ИИ после развертывания, чтобы убедиться, что они остаются в пределах утвержденных диапазонов производительности по мере изменения реальных условий использования.
Мониторинг также должен вести к конкретным действиям. Недостижение порогового значения или другая серьезная проблема инициируют документированный пересмотр. В зависимости от проблемы команды могут провести дополнительный анализ или экспертную оценку, устранить проблему, усилить мониторинг, ограничить развертывание, откатить функцию назад или провести ее повторную оценку.
Это замыкает цикл управления: установите ожидания, измерьте показатели по сравнению с ними, используйте результаты для принятия решений о выпуске и продолжайте проверять, выполняются ли эти ожидания.
Управление шире, чем производительность модели
Специализированная оценка ИИ — это лишь часть более крупной системы управления. Медицинским организациям по-прежнему необходимы контроль безопасности пациентов, разработки продуктов, безопасности, конфиденциальности, а также нормативные и договорные элементы контроля.
Контроль со стороны человека имеет особую важность. Уровень надзора должен отражать то, что делает ИИ, и потенциальные последствия ошибки.
Но человеческий контроль не снижает требования к самому ИИ. Требование к клиницисту проверять результат работы ИИ не отменяет необходимости оценивать его качество. Если клиницистам приходится постоянно исправлять ошибки или существенно корректировать текст, ИИ просто перекладывает больше работы и рисков на тех, кто его проверяет.
В случае с инструментом документирования на базе ИИ клиницисты проверяют, редактируют и утверждают созданный ИИ проект медицинской документации до того, как он станет частью медицинской карты. Оценивайте отдельно, соответствуют ли эти проекты заданным ожиданиям по производительности. Важно и то, и другое: человек осуществляет наддор, в то время как процесс управления предъявляет к самому ИИ измеримые стандарты.
Пять вопросов вашему поставщику ИИ об управлении
Руководителям здравоохранения не нужно знать все детали внутреннего процесса управления поставщика. Но они должны иметь возможность спросить, как управление влияет на реальные решения в отношении рассматриваемого ими ИИ.
1. Какие специфические для ИИ критерии вы устанавливаете до разработки и выпуска функционала?
Ищите критерии, связанные с предполагаемым использованием и рисками функционала, а не просто общую политику ответственного использования ИИ.
2. Как вы измеряете достоверность, предвзятость и качество данных до широкого выпуска, и что происходит, если функционал не соответствует требованиям?
Ответ должен объяснять, что измеряет поставщик, устанавливает ли он ожидания заранее и как результаты влияют на решения о выпуске.
3. Как вы отслеживаете производительность после внедрения и что служит основанием для более тщательной проверки?
Спросите, как часто поставщик оценивает производительность, что именно он отслеживает и что происходит, когда результаты выходят за пределы допустимого диапазона.
4. Как вы учитываете изменения в реальных условиях использования?
Спросите, как поставщик определяет, влияют ли новые специальности, группы населения, географические регионы, данные, правила плательщиков или рабочие процессы на производительность.
5. Кто несет ответственность за управление ИИ на протяжении всего жизненного цикла продукта и какое место в нем занимают клиницисты и другие эксперты?
Ищите четкое распределение ответственности и определенную роль экспертных знаний человека в оценке, принятии решений о выпуске, мониторинге и реагировании.
Цель состоит в том, чтобы понять, что поставщик на самом деле измеряет, решает, отслеживает и делает в результате.
Что значит быть управляемым по замыслу
Самым убедительным свидетельством управления ИИ является не политический документ. Это решения, которые порождает процесс управления: какие меры устанавливаются, какие доказательства требуются, когда функционал готов к выпуску и как команды реагируют при изменении производительности.
Именно так на практике выглядит управление по замыслу. Управление формирует решения на протяжении всей разработки и развертывания, а четкие показатели, пороговые значения, человеческий контроль и непрерывная оценка предоставляют доказательства, которые руководители могут изучить.
Для медицинских организаций, оценивающих партнеров в сфере ИИ, эти механизмы предлагают нечто конкретное для поиска. Они показывают, как поставщик воплощает свои обязательства по ответственному ИИ в решения, которые формируют технологии, с которыми в конечном итоге сталкиваются клиницисты и пациенты.
