27 октября 2026 г.
Ai2
Сегодня мы выпускаем Old Ideas, Novel Problems — новое исследование о том, насколько надежно большие языковые модели могут оценивать новизну научных исследовательских идей. Помимо самой статьи, мы публикуем бенчмарк, данные и код для тестирования судей новизны, а также автоматизированный конвейер, который исследователи могут использовать для создания новых наборов для оценки.
В Ai2 мы разрабатываем системы ИИ, которые поддерживают различные этапы научных открытий. DataVoyager помогает исследователям изучать и анализировать структурированные данные, AutoDiscovery генерирует и проверяет гипотезы, а Theorizer синтезирует доказательства из обширной литературы в кандидаты в научные теории. Вместе с Asta эти проекты указывают на системы, которые могут помочь исследователям перейти от понимания предыдущих работ к предложению, тестированию и доработке новых идей.
Но генерация исследовательских идей — это лишь часть задачи по автоматизации научных открытий. Эти идеи также должны вносить что-то по-настоящему новое, а это значит, что таким системам нужен способ отличить новое направление от того, что в основном переупаковывает уже существующую работу.
Эту задачу часто перепоручают другой LLM — тому, что мы называем судьей новизны. Судьи новизны оценивают, является ли исследовательская идея новой по сравнению с предыдущими работами, либо сама по себе, либо в сравнении с другой идеей. Единого стандарта создания таких судей не существует: исследовательские команды выбирают модель, промпт, формат оценки, бюджет рассуждений, а иногда и систему поиска литературы. Этот выбор может существенно повлиять на вердикт. Тем не менее, такие судьи часто проходят валидацию лишь на написанных людьми статьях, а не на тех идеях, сгенерированных ИИ, которые им действительно предстоит оценивать.
Результаты нашего нового бенчмарка показывают, что сама по себе оценка новизны далека от надежности. Среди шести судей на базе LLM — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6 — казалось бы, незначительные изменения в настройке оценки приводят к кардинально разным результатам для одних и тех же идей. В ходе одного эксперимента изменение всего нескольких слов в промпте меняет точность модели в определении того, какая из двух идей является более новой, более чем на 50 процентных пунктов. Поиск литературы и дополнительные рассуждения не всегда улучшают оценки, а две специализированные системы оценки новизны работают хуже, чем простой базовый промпт для Claude Opus 4.6.
Если ИИ будет играть более значительную роль в научных открытиях, нам нужны более надежные способы определить, действительно ли он предлагает что-то новое. Наша работа предоставляет инструменты для изучения этой проблемы, одновременно показывая, сколько вопросов все еще остаются нерешенными.
Создание бенчмарка для судей новизны
Чтобы проверить, насколько надежно судьи новизны могут отличать более новые исследовательские идеи от менее новых, нам сначала потребовались примеры с убедительными доказательствами оригинальности лежащего в их основе научного вклада.
Поэтому мы создали автоматизированный конвейер на основе рецензий экспертов ICLR 2026. Вместо того чтобы использовать принятие статьи в качестве прокси-показателя новизны, мы извлекли из самих рецензий отрывки, где рецензенты явно обсуждали оригинальность вклада. Это различие имеет ключевое значение: статья может быть принята без особой новизны, если она достаточно сильна в других аспектах. Аналогично, отклоненная статья с оригинальным вкладом может иметь другие недостатки.
Мы сформировали пул высокой новизны из 154 авторских исследовательских идей, отобрав принятые статьи из 10% лучших по рейтингу в своей области исследований ICLR, новизна которых была положительно отмечена рецензентами и никем из них не оспаривалась. Мы применили обратные критерии для формирования пула более низкой новизны: 145 идей из отклоненных статей, попавших в нижние 10%, рецензенты которых выражали сомнения в оригинальности, при этом никто из них не отмечал новизну как таковую. При отдельной проверке процесса извлечения данных из рецензий аннотатор согласился с полярностью извлеченного сигнала новизны в 47 случаях из 50; ни одно из расхождений не повлияло бы на то, считается ли, что рецензент хвалит новизну статьи или ставит ее под сомнение.
Вместе эти два пула образуют нашу первую среду оценки, Human-Only, которая проверяет, способны ли судьи новизны различать написанные людьми идеи с убедительными свидетельствами более высокой или более низкой новизны. Но на практике судьи новизны все чаще используются для оценки идей, сгенерированных ИИ. Поэтому мы создали вторую среду — Human+Generated.
Для этого пула мы объединили те же 154 проверенные человеческие идеи со 154 идеями, созданными простым генератором на базе LLM. Мы исходили из того, что сгенерированные идеи менее новы, чем их созданные людьми аналоги; это слабые метки, а не проверенные экспертами оценки для каждой отдельной идеи. Генератор получал только область исследования и инструкцию предложить новую идею без поиска литературы, использования инструментов, итераций или обратной связи. Это дало нам консервативное сравнение между идеями базового генератора и вкладом из топ-10% статей ICLR, оригинальность которых была прямо подтверждена рецензентами.
В качестве дополнительных проверок независимый эксперт изучил 30 пар Human+Generated, уделив особое внимание тем случаям, в которых ошибся наш самый сильный судья, а мы переписали человеческие и созданные ИИ идеи в единую структуру, чтобы проверить, не реагируют ли судьи просто на различия в стиле письма. Эксперт отдал предпочтение человеческой идее во всех 30 парах и не счел ни одну из сгенерированных идей новой.
Важно отметить, что многие из наших основных выводов вообще не зависят от меток. Если две разумные настройки оценки дают противоположные ответы для одной и той же пары идей, само это расхождение свидетельствует о нестабильности.
Небольшие изменения могут приводить к совершенно разным вердиктам
Используя наши коллекции исследовательских идей, созданных людьми и сгенерированных ИИ, мы проверили, насколько хорошо шесть судей на базе LLM — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6 — могут оценивать новизну с помощью как точечных (т.е. абсолютных оценок новизны), так и парных (т.е. сравнения двух идей для выявления наиболее новой) сравнений. Мы изменяли по одному фактору за раз: промпт, бюджет рассуждений, возможность судьи видеть связанные статьи, формат оформления идей, количество объединяемых в финальный вердикт оценок, а для идей, сгенерированных ИИ, — модель, которая их создала.
Наибольшие изменения в производительности были связаны с тем, как мы формулировали промпт для оценки новизны.
Например, мы показали GPT-5.4 те же пары Human+Generated (каждая содержала одну проверенную авторскую идею и одну идею, созданную ИИ) с двумя разными промптами. Один промпт сообщал модели, что рецензенты нашли ровно одну новую идею в каждой паре, и просил определить какую именно; второй просто спрашивал, какая идея является новой. Когда мы переключились на более простой промпт, точность упала с 93,5% до 40,9% — ниже случайного угадывания, — и модель изменила свой вердикт более чем для половины пар.
Напротив, то же изменение промпта изменило точность всего примерно на семь процентных пунктов на наборе данных Human-Only, в котором идеи авторства людей сочетаются с более весомыми и менее весомыми доказательствами новизны. Это говорит о том, что оценщик новизны может казаться относительно стабильным при оценке исследований, написанных людьми, но вести себя совершенно иначе на сгенерированных ИИ идеях.
Тем не менее, идеи, написанные людьми, не были защищены от этого. Мы наблюдали существенные изменения и на наборе данных Human-Only: то же изменение сдвинуло точность Claude Opus 4.6 на 21 пункт. Эти сдвиги просто оказались менее резкими, чем на идеях, сгенерированных ИИ.
Универсально лучшего промпта также не существовало. Например, при оценке идей по отдельности удаление инструкции, которая предупреждала оценщиков не относиться к тривиальным или инкрементальным вкладам как к новым, повысила точность для одних оценщиков и снизила её для других. Другими словами, промпт, который хорошо работает для одной модели, может не подойти для другой.
Мы также протестировали популярный вариант использования оценщиков новизны: сравнение идей от двух генераторов ИИ. Мы объединили идеи от Claude Opus 4.5 с Claude Sonnet 4.5, а также GPT-5.4 с GPT-5.1. При протестированных изменениях промптов в среднем примерно от четверти до трети вердиктов изменились у шести оценщиков. Эту рассогласованность можно измерить без предположений о том, какой генератор производит более новые идеи, что показывает, как выбор промпта оценщика может влиять на сравнение систем генерации идей.
Дополнительный поиск и рассуждения не обязательно приводили к более качественной оценке новизны. Мы выделили GPT-5.6 Sol сверхвысокий бюджет на рассуждения и живой итеративный поиск, ограниченный arXiv, а затем сравнили его с оценщиками со стандартным поиском, каждый из которых видел по пять предварительно найденных аннотаций. (Все оценщики в этом сравнении запускались один раз на каждую идею в наборе Human+Generated.) Агентный оценщик набрал 0,78 по макро-F1 — на 11 пунктов отставая от Claude Opus 4.6 с результатом 0,89 и находясь примерно в том же диапазоне, что и более простые настройки Claude Opus 4.5 и GPT-5.4, — при этом стоимость одного решения была примерно в 10 раз выше по текущим ценам API. (В данном контексте макро-F1 измеряет, насколько хорошо оценщик определяет новые и неновые идеи; чем выше значение, тем лучше.)
Специализированные оценщики также не были более точными, несмотря на существенно более высокую стоимость. На наборе Human+Generated простой промпт для Claude Opus 4.6 с низким уровнем рассуждений и голосованием большинства по результатам трех вызовов достиг 0,854 по макро-F1 при общей стоимости оценки $2,59. Для сравнения, Idea Novelty Checker, конвейер поиска и переранжирования на основе литературы, набрал 0,642 при стоимости $30,66, в то время как AI Scientist от Sakana AI, чей оценщик новизны итеративно выполняет поиск в Semantic Scholar, набрал 0,772 при стоимости $82,05. (Оба специализированных оценщика использовали Claude Opus 4.6, по одному вызову на решение.)
Другими словами, простая базовая линия с промптом оказалась одновременно и более точной, и значительно более дешевой, чем любая из специализированных систем.
В совокупности эти результаты показывают, что оценка новизны является крайне нестабильной для идей, сгенерированных ИИ, оценивать которые эти системы просят все чаще.
К более надежной оценке новых исследований
Наши результаты показывают, что оценка новизны на основе больших языковых моделей остается серьезной нерешенной задачей. Оценщики, которые кажутся надежными при оценке исследований, написанных людьми, могут вести себя иначе на идеях, сгенерированных ИИ; промпты, помогающие одной модели, могут навредить другой; а больший объем поиска или вычислений не обязательно приводит к более согласованным оценкам.
Будущая работа должна быть направлена на тестирование оценщиков на тех типах идей, которые им действительно предстоит оценивать, измерение чувствительности к промптам и моделям, улучшение способов интеграции предшествующей литературы и создание бенчмарков, способных развиваться по мере роста научной литературы и совершенствования систем ИИ. Наш бенчмарк и повторно используемый конвейер данных — это отправная точка: исследователи могут применять их к новым экспертным оценкам, другим научным сообществам и будущим поколениям оценщиков новизны.
Автоматизированная генерация идей зависит не только от создания правдоспособных направлений исследований; нам также нужны способы определять, когда эти идеи действительно являются новыми. Сделав недостатки текущих оценщиков новизны более простыми для измерения, мы надеемся, что этот релиз поможет исследователям создать более надежные способы оценки исследовательских идей, сгенерированных ИИ.
Присоединяйтесь к нам
В Ai2 мы строим будущее прозрачного искусственного интеллекта с открытым исходным кодом, создаваемого открыто для расширения возможностей научных исследований и фундаментального понимания этой меняющей мир технологии. Мы здесь не ради прибыли, мы здесь для того, чтобы пользу от ИИ разделяли все и во благо человечества. Если вам это близко, пожалуйста, ознакомьтесь с нашими открытыми вакансиями.
Открытые вакансии
