Переосмысление подходов к созданию и тестированию ИИ
ИИ обладает потенциалом для трансформации здоровья и здравоохранения, и этот прогресс стремительно ускоряется. Задача сегодня заключается в создании и тщательной оценке систем ИИ, которые преобразуют достижения в области клинического мышления в реальные практические результаты.
В сегодняшней научной работе, опирающейся на предыдущие исследования, представлены две основы для такого сдвига: бенчмарк последовательной диагностики (Sequential Diagnosis Benchmark — SDBench), проверяющий пошаговые навыки диагностического мышления, и Microsoft AI Diagnostic Orchestrator (MAI-DxO) — наша передовая система ИИ для данного бенчмарка.
Медицинские лицензионные экзамены, такие как экзамены на получение медицинской лицензии США (USMLE), предназначены для оценки знаний врачей, а не реалий постановки клинического диагноза. В таких тестах вся информация представлена сразу и выбирается единственный ответ; на практике же клиницисты должны собирать общую картину шаг за шагом, решая, о чем спросить, какие анализы назначить и как каждая новая находка меняет предполагаемый диагноз. Подобные экзамены стали стандартными критериями для оценки эффективности медицинского ИИ.
Именно поэтому мы разработали SDBench, который оценивает производительность на двух взаимодополняющих наборах клинических случаев: 304 сложных случая из материалов клинических разборов The New England Journal of Medicine (NEJM) и набор более типичных обращений в отделение неотложной помощи из базы данных MIMIC-IV-ED. Каждый из них превращается в интерактивный клинический случай, в котором модели ИИ и/или врачи начинают с ограниченной информации и выбирают, какие данные запросить следующими. Бенчмарк измеряет точность диагностики, запрошенные доказательства и расчетную стоимость тестов, оценивая как сам ответ, так и пройденный путь.
Мы создали MAI-DxO и протестировали его в рамках SDBench. Вместо того чтобы полагаться на одну модель для получения мгновенного ответа, система работает как консилиум виртуальных врачей: каждый из них предлагает диагнозы, выбирает полезные вопросы или тесты и ставит под сомнение возникающую точку зрения. MAI-DxO координирует этот обмен мнениями в ходе нескольких раундов обсуждения, обновляя свою оценку по мере поступления новых данных и сопоставляя вероятную ценность каждого теста с его стоимостью.
Что мы выяснили:
- В сложных случаях из NEJM система MAI-DxO достигла 83% точности диагностики. Врачи показали результат в 22% без использования внешних справочных ресурсов и 36% с ними, что делает MAI-DxO примерно в 3,7 и 2,3 раза точнее соответственно.
- В более типичных случаях отделений неотложной помощи из MIMIC-IV-ED MAI-DxO достигла 80% точности против 47% у врачей — более чем в 1,7 раза выше.
- При более жесткой оптимизации затрат производительность MAI-DxO оставалась высокой, в то время как система выбирала более экономичные планы обследования. В случаях из NEJM одна из конфигураций достигла 81% точности при затратах, составляющих менее половины стоимости сопоставимых систем.
- На обоих наборах данных никакой другой подход — ни человеческий, ни на основе ИИ — не оказался одновременно более точным и менее затратным, чем MAI-DxO.
- Эти достижения сохранились и даже улучшились, когда мы повторили оценку с использованием более новых моделей, включая GPT-5.5, без изменения метода оркестрации, что говорит о том, что данный подход не привязан к какому-то одному поколению моделей.
Мы открываем исходный код SDBench для избранных случаев из NEJM, включая сам бенчмарк, компоненты Gatekeeper, Judge и код для оценки стоимости, чтобы исследователи могли воспроизвести оценку, протестировать другие модели, а также оспорить или расширить полученные выводы.
