По мере того как системы ИИ становятся все более функциональными, их все чаще используют для ответов на вопросы и поддержки принятия решений в областях, где важна точность. Право — один из примеров регулируемой отрасли, которая адаптируется к использованию ИИ. Модель может объяснить закон или резюмировать судебное решение, но применение этого закона к обстоятельствам конкретного человека требует понимания того, какие факты имеют значение, распознавания ситуаций, когда информация отсутствует, и знания того, когда нужно задать вопросы, прежде чем делать выводы.
Сегодня Scale AI и Управление по развитию информационно-коммуникационных технологий и СМИ Сингапура (IMDA) представляют SG-LegalClarify, крупномасштабный бенчмарк для оценки правового обоснования и распознавания двусмысленности в соответствии с законодательством Сингапура. Разработанный как первая исследовательская инициатива в рамках сотрудничества Scale с IMDA, бенчмарк оценивает 19 моделей ИИ по 1860 правовым сценариям, охватывающим 10 областей сингапурского права.
Это исследование знаменует собой важный шаг в нашей более широкой работе с IMDA по развитию оценки ИИ, которая учитывает национальные и региональные контексты. Поскольку правительства рассматривают способы внедрения и контроля все более функциональных систем ИИ, им нужны способы независимой оценки того, насколько надежно эти системы работают в соответствии с их собственными законами, институтами и стандартами.
Проблемы существующих правовых бенчмарков
Модели ИИ обучаются на информации со всего мира, но большая часть современной инфраструктуры оценки фокусируется на относительно небольшом количестве языков, правовых систем и юрисдикций.
Сингапур представляет собой особенно интересный вызов. Его правовая система опирается на английское общее право, включая при этом специфические для Сингапура статуты и правовые принципы. Модель, изучившая общие концепции общего права, все равно может прийти к неверному выводу, если не распознает, где именно законодательство Сингапура отличается.
Многие существующие правовые бенчмарки фокусируются на том, могут ли модели правильно ответить на вопрос, когда вся необходимая информация уже предоставлена. Реальные правовые вопросы редко бывают такими простыми.
Представьте, что кто-то спрашивает ИИ-ассистента, какое наказание ему грозит за превышение скорости на скоростной автомагистрали в Сингапуре. Чтобы ответить правильно, модели нужно знать, на каком транспортном средстве ехал водитель, с какой скоростью он двигался и сколько штрафных баллов у него уже есть.
ИИ-ассистент, который немедленно выдает наказание, не запрашивая эти детали, может дать ответ, который звучит авторитетно, но является юридически неверным.
Как мы оценивали модели
SG-LegalClarify содержит 1100 оригинальных вопросов, написанных квалифицированными юристами, обладающими опытом в законодательстве Сингапура. Вопросы охватывают 10 правовых областей, включая уголовное право, трудовое право, право собственности, семейное право и судебные процессы.
Из этих вопросов 760 намеренно опускают информацию, необходимую для определения правильного ответа. Каждый из них сопряжен с версией, включающей недостающие факты, что в сумме создает 1860 сценариев оценки. Модели могут запрашивать у симулированного пользователя недостающие факты, что позволяет бенчмарку проверить, как они собирают информацию перед ответом.
Бенчмарк сравнивает производительность моделей, когда факты необходимо собирать, и когда они предоставляются заранее. Панель судей ИИ из трех моделей, выбранная путем сравнения с оценками экспертов-людей, оценивает ответы по 12 546 критериям оценки, написанным экспертами, по четырем измерениям:
- Идентификация проблемы: Распознает ли модель соответствующие правовые вопросы и переменные?
- Воспроизведение норм: Правильно ли она определяет применимое право?
- Применение: Может ли она применить закон к конкретным фактам?
- Заключение: Приходит ли она к правильному правовому результату?
В исследовании были протестированы 19 моделей от ведущих разработчиков ИИ, включая OpenAI, Anthropic, Google DeepMind, DeepSeek и других, как с доступом к веб-поиску, так и без него.
Ключевые выводы
1. Бенчмарк оставляет значительный простор для улучшений
Без доступа к веб-поиску самая эффективная модель удовлетворила лишь 69,8% обязательных критериев оценки, в то время как средний показатель по всем 19 моделям составил 53,8%.
Предоставление веб-поиска улучшило производительность, подняв средний показатель до 63,0%. Самая эффективная модель с доступом к сети удовлетворила 77,8% обязательных критериев.
Исследование также выявило, что воспроизведение правильных правовых норм является особой слабостью. При наличии веб-доступа модели удовлетворили лишь 56,5% применимых критериев воспроизведения норм.
Это важно, потому что система ИИ может распознать общий характер правового вопроса и все равно прийти к неверному ответу, если опирается на неверное или неполное понимание закона.
2. Модели часто не распознают, когда им нужно больше информации
Без веб-поиска примерно 39% сценариев с отсутствующей информацией не получили ни одного уточняющего вопроса.
Модели также задавали ненужные вопросы примерно в 28% сценариев, где уже было предоставлено достаточно информации.
Когда информация отсутствовала, модели запрашивали в среднем лишь 39% соответствующих фактов, определенных юристами.
Эти результаты подчеркивают критическую проблему для ИИ-ассистентов: знание того, когда у них достаточно информации для предоставления надежного ответа.
3. Правильные вопросы не гарантируют правильный ответ
Исследование также показало, что модели не всегда приходили к правильному выводу даже после того, как запрашивали все недостающие факты.
Среди оценочных испытаний с веб-поиском, где отсутствовала информация и модели запрашивали каждый соответствующий недостающий факт, только 55,6% пришли к правильному правовому заключению. Еще 32,1% пришли к неверному заключению, а 12,3% не предоставили никакого заключения.
Почему оценка в локальных контекстах важна
SG-LegalClarify — это первый бенчмарк, появившийся в результате сотрудничества Scale с IMDA, о котором было объявлено в июле 2026 года, и он иллюстрирует ценность оценки ИИ в национальных контекстах.
Поскольку системы ИИ развертываются через границы, правительствам нужна возможность независимо оценивать, как эти системы работают в соответствии с их собственными законами, языками и институциональными требованиями. Высокие показатели в международных бенчмарках не обязательно означают надежную работу в каждом национальном контексте.
Сотрудничество, подобное нашему с IMDA, имеет решающее значение для создания таких возможностей. IMDA обладает глубоким опытом в регуляторной среде Сингапура и управлении ИИ, в то время как Scale вносит свой вклад в разработку строгих бенчмарков и оценку передовых моделей. Вместе мы помогаем создавать инфраструктуру оценки, необходимую правительствам для принятия обоснованных решений о внедрении и надзоре за ИИ.
Хотя SG-LegalClarify фокусируется на законодательстве Сингапура, этот подход предлагает модель для других стран, стремящихся оценивать системы ИИ в соответствии со своими собственными требованиями.
Сотрудничество Scale с IMDA
SG-LegalClarify — это первая исследовательская веха в сотрудничестве Scale с IMDA. Мы также изучаем дополнительные направления работы, включая агентный ИИ, методы оценки моделей и безопасность ИИ.
Мы планируем выпустить общедоступную подмножество бенчмарка для поддержки дальнейших исследований и независимого анализа. По мере того как системы ИИ получают все более широкое распространение, мы стремимся сотрудничать с правительствами и исследователями для разработки оценок, которые отражают условия использования этих систем.
