ИИ уже может помогать в удивительно большом объёме научной работы: поиск литературы, анализ наборов данных, написание кода, генерация и проверка гипотез. Более сложная задача — создание систем, которыми учёные могут управлять по мере развития исследовательского проекта, особенно когда новые данные меняют, какие гипотезы стоит изучать, какие эксперименты проводить или какие вопросы исследовать дальше.
Эта задача стала центральной на мероприятии 27 августа в Ai2, посвящённом расширению нашей работы с исследовательским центром Пола Г. Аллена при Providence Swedish Cancer Institute. Мы отдельно писали о онкологических исследованиях, возникших благодаря этому сотрудничеству. На мероприятии эта работа послужила отправной точкой для более широкого рассмотрения того, чего всё ещё не хватает современному научному ИИ.
В разговоре участвовали:
- Kelly Paulson, MD, PhD, Руководитель, Центр иммуно-онкологии, исследовательский центр Пола Г. Аллена & Медицинский директор, меланома и онкология кожи, Providence Swedish Cancer Institute
- Bodhisattwa Prasad Majumder, старший научный сотрудник, Ai2
- Sasha Stanton, MD, PhD, врач-онколог по раку молочной железы & Руководитель, лаборатория иммунопрофилактики рака, исследовательский институт Эрла А. Чайлса, Providence Cancer Institute
- Kyle Travaglini, помощник исследователя, Allen Institute for Brain Health Accelerator
- Abraham Flaxman, PhD, профессор наук о показателях здоровья и глобального здоровья, Университет Вашингтона & Институт оценки показателей здоровья
- Stephen Salerno, PhD, доцент, Школа общественного здравоохранения Bursky, Вашингтонский университет (WashU)
- Hoifung Poon, PhD, главный офицер по ИИ, Recursion
Во время презентаций и панели обсуждения пять проблем постоянно всплывали.
1. Оставление места для человеческого фактора
Маджумдер описал научный вкус как суждение, которое помогает исследователю отличить интересный результат от тривиального, неправдоподобного, уже известного или маловероятного ведущего никуда результата. Современные системы ИИ для науки не могут надёжно выполнять эти различия самостоятельно.
Цель не обязательно заключается в полном переносе этого суждения в ИИ-систему. Задача состоит в том, чтобы предоставить исследователям более эффективные способы привнести их опыт, приоритеты и меняющееся понимание проблемы в систему, чтобы ИИ мог помогать, не решая самостоятельно, какие направления заслуживают изучения.
Работа Ai2 с исследователями Providence прояснила это различие — AutoDiscovery мог выдвигать гипотезы, которые выглядели статистически удивительно, но имели мало биологического или клинического смысла без экспертного контекста. Как только исследователи привнесли свои знания в предметной области в процесс, система стала значительно полезнее.
2. Сохранение управляемости ИИ
Научная работа редко следует фиксированному плану. Эксперимент может дать неожиданный результат, новая публикация меняет то, что знают исследователи, или учёный решает добавить набор данных, заменить инструмент или перенаправить ИИ-агент на вывод, который ранее не имел приоритета.
Маджумдер утверждал, что текущие агенты остаются трудными для управления в длительных исследованиях. Учёным может потребоваться пересмотреть инструкции, контекст или инструменты агента по мере поступления новых экспериментальных результатов и выводов из практики — всё это без необходимости начинать с нуля или каждый раз переобучать базовую модель.
Для научных агентов управление их поведением и поддержание актуальности знаний тесно связаны. Полезный агент не может просто следовать первоначальному заданию; он должен оставаться адаптируемым по мере развития исследования.
3. Решение, что делегировать
Пун отметил различие между двумя способами, которыми ИИ может помогать учёным: прирост производительности и прирост креативности. Прирост производительности достигается за счёт выполнения работы, которую люди уже знают, как делать, но которая является утомительной или отнимающей много времени, например, поиск записей, структурирование информации или синтез литературы. Эти задачи относительно легко описать и, что важно, проверить.
Прирост креативности сложнее оценить. Попросить ИИ выявить механизм, который учёные не рассматривали, или предложить неожиданный эксперимент может быть scientifically ценным, но такие результаты обычно нельзя проверить так же просто, как чётко определённую задачу. Для определения, выдерживает ли идея проверку, часто требуется дополнительный анализ и репликация.
Флаксман привёл пример из своей работы редактором в Journal of Privacy and Confidentiality. Исследователь использовал ИИ-систему для тестирования алгоритмов из своих ранее опубликованных статей, и система отметила ошибку в одной из них. После изучения критики исследователь пришёл к выводу, что ИИ был прав, и попросил журнал отозвать статью.
Ценность заключалась не в слепом принятии суждения ИИ, а в выявлении того, что заслуживает проверки. Как выразился Полсон: «Это исследование, а не поиск. Вы должны открывать, и вы должны проверять».
4. Избегание усиления плохой науки
Более быстрый анализ не исправит плохо спроектированное исследование или плохие данные. Салерно описал ИИ в этом смысле как усилитель, а не уравниватель — он может сделать сильный экспериментальный дизайн, тщательный сбор данных и надёжную причинно-следственную логику более мощными, но также может усилить слабые предположения и ошибочную методологию.
Это делает фундаментальные вопросы о исследовательском процессе ещё более важными. Откуда взялись данные? Почему они были собраны? Кто был включён или исключён? Делает ли очевидная связь причинно-следственный или научный смысл?
Поскольку ИИ позволяет исследователям анализировать больше данных и проверять больше идей, слабые предположения и методологические недостатки становятся более значимыми.
5. Ужесточение связи между ИИ и экспериментами
Одной из более амбициозных возможностей, обсуждавшихся на мероприятии, была более тесная связь между ИИ и лабораторией, а не независимая работа ИИ-учёного.
Травaglini описал нейронаучные проекты, включающие сотни типов клеток и тысячи изменяющихся генов — слишком много связей, чтобы любой исследователь мог отследить их самостоятельно по литературе. Агенты могли бы помогать синтезировать эти данные и приоритизировать многообещающие гипотезы, а в конечном итоге взаимодействовать непосредственно с лабораторными приборами, чтобы результаты одного эксперимента помогали формировать следующий.
Пун обозначил дополнительный путь: более богатые вычислительные модели биологии. Он описал «виртуальную ткань» как потенциальный мост между моделями отдельных клеток и более далёкой целью — «виртуальным пациентом», который мог бы помогать прогнозировать прогрессирование болезни или реакцию на лечение.
Вместе эти идеи указывают на научный ИИ, который более полно участвует в исследовательском процессе — помогая учёным решать, что исследовать, включать новые доказательства и связывать анализ более тесно с лабораторной работой. Для достижения этого потребуется не только более мощные модели, но и более адаптивные системы, лучшие способы включения новых знаний и достаточная гибкость для того, чтобы исследователи могли управлять и проверять свою работу по мере развития проектов.
