ИИ уже может помогать в удивительно большом объеме научной работы: искать литературу, анализировать наборы данных, писать код, а также генерировать и проверять гипотезы. Более сложная задача заключается в создании систем, которыми ученые могут управлять по мере развития исследовательского проекта, особенно когда новые данные меняют приоритеты в выборе гипотез, проведении экспериментов или постановке новых вопросов.
Эта задача стала центральной темой мероприятия, прошедшего 27 августа в Ai2 и ознаменовавшего расширение нашей работы с Исследовательским центром Пола Г. Аллена при Институте рака Providence Swedish. Мы уже писали отдельно об исследованиях рака, которые выросли из этого сотрудничества. На мероприятии эта работа послужила отправной точкой для более широкого взгляда на то, чего до сих пор не хватает современному научному ИИ.
В дискуссии приняли участие:
- Келли Полсон, доктор медицины, PhD, руководитель Центра иммуноонкологии, Исследовательский центр Пола Г. Аллена и медицинский директор, онкология меланомы и кожи, Институт рака Providence Swedish
- Бодхисаттва Прасад Маджумдер, старший научный сотрудник, Ai2
- Саша Стэнтон, доктор медицины, PhD, медицинский онколог (молочная железа) и руководитель Лаборатории иммунопрофилактики рака, Исследовательский институт Эрла А. Чайлза, Институт рака Providence
- Кайл Травальини, младший научный сотрудник, Инициатива Аллена по ускорению исследований здоровья мозга
- Абрахам Флаксман, PhD, профессор наук о показателях здоровья и глобального здравоохранения, Вашингтонский университет и Институт показателей и оценки здоровья
- Стивен Салерно, PhD, доцент, Школа общественного здравоохранения им. Берски при Вашингтонском университете
- Хойфунг Пун, PhD, директор по ИИ, Recursion
В ходе презентаций и панельной дискуссии постоянно всплывали пять проблем.
1. Оставляя место для человеческого фактора
Маджумдер описал научный вкус как суждение, которое помогает исследователю отличить интересный результат от тривиального, неправдоподобного, уже понятного или того, который ни к чему не приведет. Современные системы ИИ для науки не могут надежно проводить такие различия самостоятельно.
Цель не обязательно состоит в том, чтобы полностью передать это суждение системе ИИ. Задача заключается в том, чтобы дать исследователям лучшие способы привнести свой опыт, приоритеты и меняющееся понимание проблемы в систему, чтобы ИИ мог помогать, не решая самостоятельно, какие направления стоит развивать.
Работа Ai2 с исследователями Providence сделала это различие очевидным — AutoDiscovery мог выявлять гипотезы, которые выглядели статистически удивительными, но имели мало биологического или клинического смысла без экспертного контекста. Как только исследователи привнесли в процесс свои предметные знания, система стала гораздо полезнее.
2. Сохранение управляемости ИИ
Научная работа редко следует фиксированному плану. Эксперимент дает неожиданный результат, новая статья меняет то, что знают исследователи, или ученый решает добавить набор данных, заменить инструмент или перенаправить ИИ-агента на поиск того, что ранее не было приоритетным.
Маджумдер утверждал, что текущими агентами по-прежнему трудно управлять в ходе длительных исследований. Ученым может потребоваться пересматривать инструкции, контекст или инструменты агента по мере поступления новых экспериментальных результатов и выводов из области — и все это без необходимости начинать сначала или каждый раз переобучать базовую модель.
Для научных агентов управление их поведением и поддержание актуальности их знаний тесно связаны. Полезный агент не может просто следовать первоначальному брифу; он должен оставаться адаптивным по мере развития исследования.
3. Решение о том, что делегировать
Пун провел различие между двумя способами, которыми ИИ может помочь ученым: повышение продуктивности и повышение креативности. Повышение продуктивности достигается за счет выполнения работы, которую люди уже умеют делать, но которая является утомительной или трудоемкой, например, поиск по записям, структурирование информации или синтез литературы. Эти задачи относительно легко описать и, что важно, проверить.
Повышение креативности оценить сложнее. Просьба к ИИ выявить механизм, который ученые не рассматривали, или предложить неожиданный эксперимент может быть научно ценной, но такие результаты обычно нельзя проверить так же просто, как четко определенную задачу. Они часто требуют дальнейшего анализа и воспроизведения, чтобы определить, верна ли идея.
Флаксман привел пример из своей работы в качестве редактора журнала Journal of Privacy and Confidentiality. Исследователь использовал систему ИИ для проверки алгоритмов из своих собственных ранее опубликованных статей, и система обнаружила ошибку в одной из них. После расследования критики исследователь пришел к выводу, что ИИ был прав, и попросил журнал отозвать статью.
Ценность заключалась не в том, чтобы принять суждение ИИ за чистую монету, а в выявлении того, что стоит изучить. Как выразилась Полсон: «Это исследование, а не поиск. Вы должны открывать, и вы должны проверять».
4. Избегание усиления плохой науки
Более быстрый анализ не исправляет плохо спланированное исследование или плохие данные. Салерно описал ИИ в этом смысле как усилитель, а не уравнитель — он может сделать сильный экспериментальный дизайн, тщательный сбор данных и обоснованные причинно-следственные рассуждения более мощными, но он также может усилить слабые предположения и ошибочную методологию.
Это делает фундаментальные вопросы о процессе исследования еще более важными. Откуда взялись данные? Почему они были собраны? Кто был включен или исключен? Имеет ли видимая связь причинно-следственный или научный смысл?
Поскольку ИИ позволяет исследователям анализировать больше данных и проверять больше идей, слабые предположения и методологические недостатки также становятся более значимыми.
5. Укрепление связи между ИИ и экспериментами
Одной из самых амбициозных возможностей, обсуждавшихся на мероприятии, была более тесная связь между ИИ и лабораторией, а не работа ИИ-ученого независимо.
Травальини описал нейробиологические проекты, включающие сотни типов клеток и тысячи изменяющихся генов — слишком много связей, чтобы любой исследователь мог проследить их только по литературе. Агенты могли бы помочь синтезировать эти данные и расставить приоритеты для многообещающих гипотез, а в конечном итоге взаимодействовать напрямую с лабораторными инструментами, чтобы результаты одного эксперимента помогали формировать следующий.
Пун наметил дополнительный путь: более богатые вычислительные модели биологии. Он описал «виртуальную ткань» как потенциальный мост между моделями отдельных клеток и более далекой целью «виртуального пациента», который мог бы помочь прогнозировать прогрессирование заболевания или реакцию на лечение.
В совокупности эти идеи указывают на научный ИИ, который более полно участвует в исследовательском процессе — помогая ученым решать, что исследовать, включать новые данные и более тесно связывать анализ с лабораторной работой. Достижение этого потребует не только более способных моделей, но и более адаптивных систем, лучших способов включения новых знаний и достаточной гибкости для исследователей, чтобы направлять и проверять свою работу по мере развития проектов.
