AutoDiscovery — наш ИИ-агент для научных исследований — анализирует наборы данных, предлагает гипотезы, проводит эксперименты для их проверки и ранжирует результаты по критерию байесовского сюрприза — разнице между тем, что предсказывала модель, и тем, что показывали данные. Весной в аудитории Университета Вашингтона он выявил возможный недостаток в том, как измеряется старение аккумуляторов, неожиданную закономерность в силиконовых полимерах и повторяющуюся особенность белков, реагирующих на свет.
Но неожиданный результат не обязательно является важным — или таким, который выдержит дальнейшее тестирование. Студентам всё равно приходилось тщательно изучать доказательства, сравнивать выводы с опубликованными исследованиями и решать, отражает ли каждый результат настоящее открытие, совпадение или проблему с данными.
Луна Юэ Хуан, адъюнкт-профессор материаловедения и инженерии в UW, пригласила студентов исследовать этот способ работы с ИИ в рамках конкурса GenAI for Science: Ai2–UW Materials Challenge. Двадцать пять команд предложили набор данных и исследовательский вопрос; десять были выбраны для того, чтобы провести несколько недель работы с AutoDiscovery.
Инструкторский состав UW и исследователи Ai2 рассмотрели предложения на основе богатства и научной уникальности данных, их потенциала для получения значимых результатов и общей разнообразности представленных тем. Было выбрано десять проектов, к которым присоединились студенты из других предложений. В некоторых случаях преподаватели также помогали сузить широкие наборы данных до более управляемого масштаба, соответствующего исследовательским интересам студентов.
Студенты проверяли гипотезы AutoDiscovery на основе имеющихся доказательств, выявляли пробелы в его логических выводах и оценивали, в какой степени он существенно сокращал объём ручного анализа данных. Производительность AutoDiscovery варьировалась значительно — в некоторых случаях он выявлял лиды, которые студенты в противном случае могли бы не исследовать.
Вот четыре репрезентативных проекта из класса:
Группа, изучавшая старение литий-ионных аккумуляторов, выявила контринтуитивный лид: что периодические диагностические тесты, используемые для проверки состояния ячейки, могут сами по себе ускорять её деградацию. Это основывалось на корреляции в данных, а не на доказательстве того, что тесты вызывают дополнительный износ, поэтому подтверждение этого потребовало бы контролируемого эксперимента — чёткого и логичного следующего шага для последующей работы.
Другая группа, опираясь на шесть миллионов симуляций полимеров, обнаружила очевидное исключение из правила, существующего уже несколько десятилетий: что два стандартных способа оценки заряда атома наиболее расходятся в отношении электролюбивых атомов, таких как кислород и азот. Они проследили это до исходной статьи, документирующей закономерность, и не нашли опубликованного объяснения, почему полимеры отклоняются от неё — это настоящий открытый вопрос.
Третья группа создавала белки, которые включаются только под воздействием света, что означает вставку светочувствительного сегмента в точно нужное место в белке — медленная работа, требующая тестирования одного дизайна за раз в лаборатории. Поэтому группа использовала AutoDiscovery, чтобы найти характеристики, которые отделяли работающие вставки от неработающих, а затем проверила лучшую гипотезу инструмента против своих собственных лабораторных результатов. Как обнаружил AutoDiscovery, работающие вставки закрепляли светочувствительный сегмент к белку в нескольких сильных точках, а не во многих слабых — закономерность, которая сохранялась во всех дизайнах, которые группа тестировала в реальном мире, и соответствовала давно установленному принципу связывания белков.
Другие проекты показали, насколько результат зависел от данных. Работая с 24 000 симулированных конфигураций ядерного реактора, одна студенческая группа получила почти ничего полезного из AutoDiscovery — примерно половина его гипотез была нелогичной, и ни одна не была достойна дальнейшего исследования. Группа проследила проблему до того, как работает AutoDiscovery; система оценивает сюрприз по сравнению с реальными измерениями, поэтому синтетические числа сбивали её с толку.
На наборе данных реальных измерений реакторной физики — показаниях экспериментов, а не симуляции — AutoDiscovery работал гораздо лучше, выявив около 15 лидов, потенциально достойных дальнейшего исследования. Триаж наиболее перспективных был там, где вмешались студенты — взвешивая каждый по физической правдоподобности и логической обоснованности, проверяя самые сильные против литературы и решая, какие из них заслуживают более внимательного рассмотрения.
В целом по проектам студенты пришли к одному и тому же выводу: AutoDiscovery был наиболее полезен для выявления идей, которые они, возможно, не подумали бы проверить, но он не исключал исследователя из процесса — если что-то, то требовал от него больше. Чтение его доказательств и понимание того, как он достигал каждого результата, требовало того рода суждения, которое приходит только с опытом и научной экспертизой.
Для Хуан это упражнение указало на её собственное преподавание — что нужно, чтобы подготовить студентов к хорошему использованию инструмента типа AutoDiscovery и научить суждению, которое инструмент не может заменить.
«Что сделало этот вызов особенно значимым, так это то, что он познакомил студентов с совершенно другим способом работы с ИИ», — говорит Хуан. «Вместо того чтобы просить ИИ выполнить хорошо определённую задачу, они научились использовать его как партнёра в научном исследовании, где ИИ генерирует гипотезы, а студенты ставят под сомнение неожиданные результаты и решают, какие идеи заслуживают дальнейшего исследования. Этот сдвиг естественно привёл студентов к ещё более важному вопросу: Какова роль исследователя, когда ИИ может генерировать идеи так быстро?»
«Наша цель заключалась в том, чтобы помочь студентам осознать, что вклад человека становится ещё более ценным в этой новой парадигме», — продолжает Хуан. «Критическое мышление, систематический экспериментальный дизайн, научное мышление и способность обосновывать выводы остаются исключительно человеческой ответственностью. Опыт, подобный этому, не только готовит студентов к будущему, в котором ИИ станет неотъемлемой частью научных открытий, но и укрепляет ценность научного образования, демонстрируя, что фундаментальные знания, экспертные знания в области и здравый смысл становятся ещё более важными в эпоху ИИ».
Хуан также была поражена объёмом и качеством работы, которую студенты выполнили во время конкурса.
«Всего за десять дней студенты преобразовали сырые наборы данных в тщательно исследованные научные гипотезы, подкреплённые литературными обзорами, количественным анализом, планами экспериментальной валидации и продуманными отчётами», — говорит Хуан. «ИИ, безусловно, ускорил многие части этого процесса, но качество конечной работы отражало любознательность, настойчивость и научное суждение студентов».
«Что было особенно обнадёживающим, так это видеть, насколько они были готовы учиться не только тому, как использовать ИИ, но и тому, как проводить тщательное исследование вместе с ним. Для меня это было мощное напоминание о том, что следующее поколение учёных готово принять ИИ как инструмент для открытий, признавая при этом, что значимый научный прогресс по-прежнему зависит от критического мышления, обоснованных доказательствами рассуждений и глубокого экспертного знания в области».
Мы благодарны студентам и преподавателям факультета материаловедения и инженерии UW за то, что они так тщательно протестировали AutoDiscovery. Их отзывы помогают нам совершенствовать его и показывают, как такие инструменты меняют научную практику — для нас это часть ответственного подхода к их созданию.
Попробуйте AutoDiscovery в Asta.
