AutoDiscovery, наш ИИ-агент для научных исследований, анализирует наборы данных, выдвигает гипотезы, проводит эксперименты для их проверки и ранжирует результаты по байесовскому удивлению — разрыву между тем, что предсказала модель, и тем, что показали данные. Этой весной в аудитории Вашингтонского университета система выявила возможный изъян в методах измерения старения аккумуляторов, неожиданную закономерность в кремнийорганических полимерах и повторяющуюся особенность в белках, реагирующих на свет.
Но удивительный результат не обязательно является важным — или таким, который выдержит дальнейшую проверку. Студентам все равно приходилось тщательно изучать доказательства, сравнивать полученные данные с опубликованными исследованиями и решать, является ли каждый результат подлинным открытием, совпадением или проблемой в самих данных.
Луна Юэ Хуан, доцент кафедры материаловедения и инженерии в UW, предложила студентам изучить такой способ работы с ИИ в рамках конкурса «GenAI для науки: Ai2–UW Materials Challenge». Двадцать пять команд предложили свои наборы данных и исследовательские вопросы; десять из них были отобраны для работы с AutoDiscovery в течение нескольких недель.
Команда преподавателей UW и исследователи Ai2 оценивали предложения на основе насыщенности и научной уникальности данных, их потенциала для получения значимых результатов и общего разнообразия представленных тем. Было выбрано десять проектов, к которым присоединились студенты из других команд. В некоторых случаях преподаватели также помогали сузить слишком широкие наборы данных до более управляемого объема, соответствующего исследовательским интересам студентов.
Студенты проверяли гипотезы AutoDiscovery на основе имеющихся доказательств, выявляли пробелы в логике системы и оценивали, насколько она эффективно сокращает объем ручного анализа данных. Эффективность AutoDiscovery варьировалась: в некоторых случаях система находила направления, которые студенты могли бы иначе не исследовать.
Вот четыре показательных проекта с этого курса:
Группа, изучающая старение литий-ионных аккумуляторов, обнаружила контринтуитивный факт: периодические диагностические тесты, используемые для проверки состояния ячейки, могут сами по себе ускорять ее деградацию. Это основывалось на корреляции в данных, а не на доказательстве того, что тесты вызывали дополнительный износ, поэтому для подтверждения потребовался бы контролируемый эксперимент — ясный и логичный следующий шаг для дальнейшей работы.
Другая группа, опираясь на шесть миллионов симуляций полимеров, нашла явное исключение из правила, которому уже несколько десятилетий: два стандартных способа оценки заряда атома дают наибольшие расхождения для электроотрицательных атомов, таких как кислород и азот. Они проследили это до оригинальной статьи, описывающей данную закономерность, и не нашли опубликованных объяснений того, почему полимеры отклоняются от нее — это подлинный открытый вопрос.
Третья группа занималась созданием белков, которые активируются только под воздействием света, что требует вставки светочувствительного сегмента в строго определенное место белка — это медленная работа, требующая проверки каждого дизайна в лаборатории. Группа использовала AutoDiscovery, чтобы найти характеристики, отличающие успешные вставки от неудачных, а затем проверила лучшую гипотезу инструмента на своих лабораторных результатах. Как выяснил AutoDiscovery, рабочие вставки закрепляли светочувствительный сегмент в белке в нескольких сильных точках, а не во многих слабых — закономерность, которая подтвердилась во всех дизайнах, протестированных группой в реальности, и соответствовала давно установленным принципам связывания белков.
Другие проекты показали, насколько результат зависит от данных. Работая с 24 000 симуляций конфигураций ядерных реакторов, одна группа студентов почти не получила ничего полезного от AutoDiscovery — примерно половина гипотез была нелогичной, и ни одна не стоила того, чтобы ее развивать. Группа нашла причину в принципе работы AutoDiscovery: система оценивает «удивление» на основе реальных измерений, поэтому синтетические данные сбили ее с толку.
На наборе данных с реальными измерениями физики реакторов — показаниями экспериментов, а не симуляций — AutoDiscovery сработал гораздо лучше, выдав около 15 направлений, потенциально заслуживающих внимания. Сортировка наиболее перспективных из них легла на плечи студентов: они оценивали каждое на физическую правдоподобность и логическую обоснованность, сверяли самые сильные с литературой и решали, какие из них требуют более детального изучения.
Во всех проектах студенты пришли к одному и тому же выводу: AutoDiscovery был наиболее полезен для поиска идей, которые они могли бы не догадаться проверить, но он не исключал исследователя из процесса — скорее, он требовал от них большего. Чтение доказательств системы и понимание того, как она пришла к каждому результату, требовали суждения, которое приходит только с опытом и научной экспертизой.
Для Хуан этот опыт стал поводом переосмыслить собственное преподавание: что нужно, чтобы подготовить студентов к эффективному использованию таких инструментов, как AutoDiscovery, и как научить их суждению, которое не может заменить никакой инструмент.
«Что сделало этот конкурс особенно значимым, так это то, что он открыл студентам совершенно иной способ работы с ИИ», — говорит Хуан. — «Вместо того чтобы просить ИИ выполнить четко определенную задачу, они научились использовать его как партнера в научных исследованиях, где ИИ генерирует гипотезы, а студенты ставят под сомнение неожиданные результаты и решают, какие идеи заслуживают дальнейшего изучения. Этот сдвиг естественным образом привел студентов к еще более важному вопросу: какова роль исследователя, когда ИИ может генерировать идеи так быстро?»
«Наша цель состояла в том, чтобы помочь студентам осознать, что человеческий вклад становится еще более ценным в этой новой парадигме», — продолжает Хуан. — «Критическое мышление, систематическое планирование экспериментов, научное обоснование и способность аргументировать выводы остаются уникальными обязанностями человека. Подобный опыт не только готовит студентов к будущему, в котором ИИ станет неотъемлемой частью научных открытий, но и подчеркивает ценность научного образования, демонстрируя, что фундаментальные знания, предметная экспертиза и здравое суждение становятся еще важнее в эпоху ИИ».
Хуан также была поражена объемом и качеством работы, которую студенты выполнили за время конкурса.
«Всего за десять дней студенты превратили необработанные наборы данных в тщательно проработанные научные гипотезы, подкрепленные обзорами литературы, количественным анализом, планами экспериментальной проверки и глубокими отчетами», — говорит Хуан. — «ИИ, несомненно, ускорил многие части этого процесса, но качество итоговой работы отражало любознательность, настойчивость и научное суждение самих студентов».
«Особенно обнадеживало то, с каким энтузиазмом они стремились научиться не просто использовать ИИ, но и проводить строгие исследования вместе с ним. Для меня это стало мощным напоминанием о том, что следующее поколение ученых готово принять ИИ как инструмент для открытий, осознавая при этом, что значимый научный прогресс по-прежнему зависит от критического мышления, доказательного обоснования и глубокой предметной экспертизы».
Мы благодарны студентам и преподавателям факультета материаловедения и инженерии Вашингтонского университета (UW) за тщательность, с которой они подошли к тестированию AutoDiscovery. Их оценки помогают нам совершенствовать этот инструмент и показывают, как подобные разработки меняют научную практику, что для нас является частью ответственного подхода к их созданию.
Попробуйте AutoDiscovery в Asta.
