Коалиция EvalEval рада сообщить, что Британский институт безопасности ИИ (AISI) использует инфраструктуру EvalEval для открытой публикации результатов оценки, способствуя развитию более воспроизводимой и проверяемой науки об оценке.
AISI и EvalEval ранее сотрудничали в рамках исследования, начатого на joint workshop alongside NeurIPS 2025, а отзывы Института помогли сформировать схему Every Eval Ever (EEE). Этот следующий этап сотрудничества претворяет общую инфраструктуру в жизнь.
Почему воспроизводимость отчетности об оценке имеет значение
По мере ускорения внедрения ИИ оценки становятся все более важными источниками данных о производительности моделей и систем. Тем не менее результаты публикуются в самых разных форматах, на различных платформах и площадках, часто без достаточной информации для их воспроизведения. Повторный запуск оценок сам по себе может оказаться непомерно дорогим.
Миссия EvalEval заключается в улучшении этой экосистемы с помощью общей схемы отчетности Every Eval Ever и открытой платформы Evaluation Cards, которые объединяют результаты оценки и информацию, необходимую для их интерпретации, в единую структуру.
Это органично дополняет работу AISI по повышению эффективности оценки с помощью OptStop, ее статистической строгости с помощью HiBayES, а также стандартизации в таких областях, как анализ транскриптов и выявление возможностей. Совместно AISI и EvalEval работают над выявлением пробелов в отчетности об оценке и созданием общей инфраструктуры для их устранения.
Чем делится AISI
Прозрачность на уровне транскриптов важна не только для воспроизводимости, но и для анализа и диагностики. На этом новом этапе сотрудничества AISI делает общедоступными методы и результаты оценки через Evaluation Cards там, где это уместно. Релиз включает проверенные результаты, контекст и конфигурационные данные для пяти бенчмарков из основного эксперимента статьи:
- HealthBench
- FrontierMath
- Humanity's Last Exam
- SWE-Bench Pro
- Terminal-Bench 2.0
Эти результаты охватывают шесть передовых моделей: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. Релиз также включает результаты двух связанных кибероценок — Cyber CTFs и The Last Ones, в которых используется другой, частично пересекающийся набор моделей. Данные сопровождают статью AISI Как вычисления на этапе инференса формируют оценку передовых LLM, в которой изучается зависимость производительности бенчмарков от вычислений на этапе инференса и протокола оценки.
Производительность в Humanity's Last Exam меняется в зависимости от протокола оценки и вычислений на этапе инференса. Каждая кривая показывает кумулятивную долю попытавшихся решить задач, решенных в рамках заданного количества токенов, с использованием самого раннего наблюдаемого успеха по каждой задаче. Когда модели получали обратную связь о правильности от оракула после каждой попытки, они продолжали решать дополнительные задачи по мере увеличения использования токенов.
Когда результаты публикуются в открытом доступе вместе с информацией о настройке, исследователи и практики могут более детально изучить отдельные исследования и сравнить полученные выводы во всей экосистеме. Там, где в других отчетах отсутствуют эти детали, такие релизы, как у AISI, служат проверенными ориентирами для интерпретации оценок в контексте — например, помогая исследователям понять, как выбор настроек может повлиять на заявленную производительность. По мере того как все больше специалистов по оценке внедряют EEE, подобные открытые сравнения могут способствовать проведению более масштабных и надежных мета-исследований.
Результаты AISI для Terminal-Bench 2.0 наряду с другими опубликованными оценками для тех же моделей при различных настройках оценки.
Мы воодушевлены этим внедрением и с нетерпением ждем дальнейшей стандартизации и обмена оценками с AISI и другими организациями по оценке ИИ.
Внесите свой вклад в общую миссию
- Разработчики моделей: Публикуйте проверенные результаты оценки.
- Разработчики оценок: Публикуйте бенчмарки и данные запусков, используя схему Every Eval Ever.
- Исследователи в области оценки, управления и политики: Изучите Evaluation Cards по бенчмаркам или моделям, либо используйте их для анализа состояния отчетности об оценке в целом.
Об EvalEval Coalition
EvalEval Coalition — это исследовательское сообщество, разрабатывающее научно обоснованные исследования и надежную инфраструктуру развертывания для экосистемы оценки. Его цель — улучшить науку об оценке, устранить отсутствие консенсуса в отношении документирования применимости и полезности оценки, а также расширить охват воздействий, имеющих значение для научных исследований и анализа политики.
Флагманские проекты коалиции включают Every Eval Ever, общую схему и репозиторий для результатов оценки, а также Evaluation Cards, которые объединяют метаданные бенчмарков, данные запусков оценки и метаданные моделей в интерпретируемые записи. Вместе они упрощают понимание того, когда внешне похожие баллы были получены в существенно различающихся условиях.
Об UK AI Security Institute
Британский институт безопасности ИИ — это исследовательская организация в составе Департамента науки, инноваций и технологий правительства Великобритании. Его миссия — предоставить правительствам научное понимание рисков, создаваемых передовым ИИ. AISI проводит исследования и создает инфраструктуру для понимания возможностей и влияния передового ИИ, разработки и тестирования мер по снижению рисков, а также информирования политики.
Дополнительная литература
- Как вычисления на этапе инференса формируют оценку передовых LLM
- Статья HiBayES
- Статья OptStop
- Every Eval Ever
- Evaluation Cards
