Сегодня мы выпускаем Old Ideas, Novel Problems, новое исследование о том, насколько надежно большие языковые модели могут оценивать новизну научных исследовательских идей. Вместе с докладом мы публикуем бенчмарк, данные и код для тестирования судей новизны, а также автоматизированный конвейер, который исследователи могут использовать для создания новых наборов оценок.
В Ai2 мы разрабатываем системы ИИ, которые поддерживают различные этапы научных открытий. DataVoyager помогает исследователям изучать и анализировать структурированные данные, AutoDiscovery генерирует и проверяет гипотезы, а Theorizer объединяет свидетельства из обширной литературы в кандидатские научные теории. Вместе с Asta эти проекты указывают на системы, которые могут помочь исследователям перейти от понимания предыдущих работ к предложению, проверке и уточнению новых идей.
Но генерация исследовательских идей — это лишь часть задачи по автоматизации научных открытий. Эти идеи также должны привносить что-то по-настоящему новое, а это значит, что таким системам нужен способ отличать новое направление от того, что в основном переупаковывает уже существующие работы.
Эту задачу оценки часто поручают другой LLM — тому, что мы называем судьей новизны. Судьи новизны оценивают, является ли исследовательская идея новой по сравнению с предыдущими работами, либо сама по себе, либо в сравнении с другой идеей. Единого стандарта для их создания не существует: исследовательские команды выбирают модель, промпт, формат оценки, бюджет рассуждений, а иногда и систему поиска литературы. Этот выбор может существенно повлиять на вердикт. Тем не менее, такие судьи часто проходят валидацию только на написанных людьми статьях, а не на сгенерированных ИИ идеях, которые они на самом деле должны оценивать.
Результаты нашего нового бенчмарка показывают, что оценка новизны сама по себе далека от надежности. Среди шести судей на базе LLM – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6 – казалось бы, незначительные изменения в настройке оценки приводят к кардинально разным суждениям об одних и тех же идеях. В одном эксперименте изменение всего нескольких слов в промпте меняет точность модели в определении того, какая из двух идей является более новой, более чем на 50 процентных пунктов. Поиск литературы и дополнительные рассуждения не всегда улучшают оценки, а две специализированные системы оценки новизны работают хуже, чем простая базовая модель Claude Opus 4.6 с промптом.
Если ИИ будет играть более значительную роль в научных открытиях, нам нужны более надежные способы определить, действительно ли он предлагает что-то новое. Наша работа предоставляет инструменты для изучения этой проблемы, одновременно показывая, сколько вопросов все еще остается нерешенным.
Создание бенчмарка для судей новизны
Чтобы проверить, насколько надежно судьи новизны могут отличать более новые исследовательские идеи от менее новых, нам сначала потребовались примеры с убедительными доказательствами оригинальности лежащего в их основе научного вклада.
Поэтому мы построили автоматизированный конвейер на основе рецензий экспертов ICLR 2026. Вместо того чтобы рассматривать принятие статьи в качестве прокси-показателя новизны, мы извлекли из самих рецензий те отрывки, где рецензенты явно обсуждали оригинальность вклада. Это различие имеет ключевое значение; статья может быть принята без особой новизны, если она достаточно сильна в других аспектах. Аналогичным образом, отклоненная статья с оригинальным вкладом может иметь другие слабости.
Мы создали пул высоко-новых исследовательских идей, состоящий из 154 работ, написанных людьми, путем отбора принятых статей, вошедших в топ-10% по рейтингу в своей области исследований ICLR, новизна которых была положительно отмечена рецензентами и никем из них не оспаривалась. Мы применили обратные критерии для создания пула с более низкой новизной: 145 идей из отклоненных статей, попавших в нижние 10%, рецензенты которых выражали обеспокоенность по поводу оригинальности, и ни один рецензент не отметил новизну положительно. При отдельной проверке процесса извлечения рецензий аннотатор согласился с полярностью извлеченного сигнала новизны в 47 случаях из 50; ни одно из разногласий не повлияло бы на то, был ли рецензент засчитан как хваливший или оспаривающий новизну статьи.
Вместе эти два пула образуют нашу первую среду оценки, Human-Only, которая проверяет, могут ли судьи новизны различать написанные людьми идеи с убедительными доказательствами более высокой или более низкой новизны. Но на практике судьи новизны все чаще используются для оценки идей, сгенерированных ИИ. Поэтому мы создали вторую среду, Human+Generated.
Для этого пула мы объединили те же 154 проверенные человеческие идеи со 154 идеями, созданными простым генератором на базе LLM. Мы исходили из того, что сгенерированные идеи менее новы, чем их созданные людьми аналоги; это слабые метки, а не проверенные оценки для каждой идеи. Генератор получал только область исследования и инструкцию предложить новую идею без поиска литературы, использования инструментов, итераций и обратной связи. Это дало нам консервативное сравнение между идеями базового генератора и вкладами из топ-10% статей ICLR, рецензенты которых явно поддержали их оригинальность.
В качестве дополнительных проверок эксперт независимо изучил 30 пар Human+Generated с сильным уклоном в сторону случаев, в которых ошиблись наши самые сильные судьи, и мы переписали идеи, созданные людьми и ИИ, в единую структуру, чтобы проверить, просто ли судьи реагируют на различия в стиле письма. Эксперт отдал предпочтение человеческой идее во всех 30 парах и не счел новой ни одну из сгенерированных идей.
Важно отметить, что многие из наших основных выводов вообще не зависят от меток. Если две разумные настройки оценки дают противоположные ответы для одной и той же пары идей, само это расхождение свидетельствует о нестабильности.
Небольшие изменения могут приводить к совершенно разным вердиктам
Используя наши коллекции исследовательских идей, созданных людьми и сгенерированных ИИ, мы проверили, насколько хорошо шесть судей на базе LLM – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6 – могут оценивать новизну как с помощью точечных (т.е. абсолютные оценки новизны), так и парных (т.е. сравнение двух идей для поиска наиболее новой) сравнений. Мы изменяли по одному фактору за раз: промпт, бюджет рассуждений, возможность судьи видеть связанные статьи, формат оформления идей, количество оценок, объединенных в итоговый вердикт, а для идей, сгенерированных ИИ — какая именно модель их сгенерировала.
Самые большие изменения в производительности были связаны с тем, как мы формулировали промпт для оценки новизны модели.
Например, мы показали GPT-5.4 одни и те же пары Human+Generated – каждая из которых содержала одну проверенную идею, созданную человеком, и одну идею, сгенерированную ИИ – с двумя разными промптами. Один промпт сообщал модели, что рецензенты нашли ровно одну идею в каждой паре новой, и просил определить какую именно; другой просто спрашивал, какая идея является новой. Когда мы переключились на более простой промпт, точность упала с 93,5% до 40,9% (ниже случайного угадывания), и модель изменила свой вердикт более чем для половины тех же самых пар.
Напротив, то же изменение промпта изменило точность всего примерно на семь процентных пунктов наборе данных Human+Generated, в котором идеи авторства людей сочетаются с более сильными и слабыми свидетельствами новизны. Это говорит о том, что оценщик новизны может казаться относительно стабильным при оценке исследований, написанных людьми, но вести себя совершенно иначе на сгенерированных ИИ идеях.
Тем не менее, идеи, созданные людьми, не были полностью защищены. Мы наблюдали существенные изменения и наборе данных Human-Only; то же самое изменение сдвинуло точность Claude Opus 4.6 на 21 пункт. Эти изменения просто были менее выраженными, чем на идеях, сгенерированных ИИ.
Кроме того, не существовало универсально лучшего промпта. Например, при оценке идей по отдельности удаление инструкции, которая предупреждала судей о том, что не следует относиться к тривиальным или инкрементальным вкладам как к новым, повысило точность для одних судей и снизило ее для других. Иными словами, промпт, который хорошо работает для одной модели, может не подойти для другой.
Мы также протестировали распространенный вариант использования оценщиков новизны: сравнение идей от двух генераторов ИИ. Мы объединили идеи от Claude Opus 4.5 с Claude Sonnet 4.5, а также GPT-5.4 с GPT-5.1. При различных протестированных изменениях промптов примерно от четверти до трети вердиктов в среднем менялись у шести судей. Это расхождение можно измерить без предварительного предположения о том, какой именно генератор производит более новые идеи, что показывает, как выбор промпта судьи может влиять на сравнение систем генерации идей.
Больший объем поиска и рассуждений не обязательно приводил к более качественной оценке новизны. Мы выделили GPT-5.6 Sol сверхвысокий бюджет на рассуждения и интерактивный итеративный поиск, ограниченный arXiv, а затем сравнили его с судьями со стандартным поиском, каждый из которых видел по пять заранее извлеченных аннотаций. (Все судьи в этом сравнении запускались один раз на каждую идею наборе Human+Generated.) Агентный судья набрал 0.78 по макро-F1 — что на 11 пунктов ниже, чем у Claude Opus 4.6 с его 0.89, и находится примерно в том же диапазоне, что и более простые конфигурации Claude Opus 4.5 и GPT-5.4, — при этом стоимость одного решения при текущих ценах API оказалась примерно в 10 раз выше. (В данном контексте макро-F1 измеряет, насколько хорошо судья определяет новые и неновые идеи; чем выше показатель, тем лучше.)
Специализированные оценщики также не отличались большей точностью, несмотря на значительно более высокую стоимость. На наборе Human+Generated простой промпт Claude Opus 4.6 с низким уровнем рассуждений и голосованием большинства по трем обращениям достиг 0.854 по макро-F1 при общей стоимости оценки в $2.59. Для сравнения, Idea Novelty Checker, конвейер извлечения и переупорядочивания на основе литературы, набрал 0.642 при стоимости $30.66, в то время как AI Scientist от Sakana AI, чей оценщик новизны итеративно осуществляет поиск в Semantic Scholar, набрал 0.772 при стоимости $82.05. (Оба специализированных оценщика использовали Claude Opus 4.6 с одним вызовом на каждое решение.)
Иными словами, простая базовая линия с промптом оказалась одновременно и более точной, и значительно более дешевой, чем любая из специализированных систем.
В совокупности эти результаты показывают, что оценка новизны является особенно хрупкой для идей, сгенерированных ИИ, оценивать которые эти системы просят все чаще.
На пути к более надежной оценке новых исследований
Наши результаты показывают, что оценка новизны на основе LLM остается крупной нерешенной проблемой. Судьи, которые кажутся надежными при исследовании созданных людьми работ, могут вести себя иначе на сгенерированных ИИ идеях; промпты, помогающие одной модели, могут навредить другой; а больший объем поиска или вычислений не обязательно ведет к более согласованным оценкам.
Будущая работа должна быть направлена на тестирование судей на тех типах идей, которые они будут оценивать на практике, измерение чувствительности к промптам и моделям, улучшение способов интеграции предшествующей литературы и создание бенчмарков, способных развиваться по мере роста научной литературы и совершенствования систем ИИ. Наш бенчмарк и повторно используемый пайплайн данных — это отправная точка: исследователи могут применять их к новым экспертным оценкам, другим научным сообществам и будущим поколениям судей новизны.
Автоматизированная генерация идей зависит не только от создания правдоподобных исследовательских направлений; нам также нужны способы определить, являются ли эти идеи по-настоящему новыми. Сделав слабые стороны текущих оценщиков новизны более доступными для измерения, мы надеемся, что этот релиз поможет исследователям создать более надежные методы оценки генерируемых ИИ исследовательских идей.
