Переосмысление уверенности в моделях рассуждений

Вы бросаете две честные игральные кости с шестью гранями. какова вероятность того, что их сумма будет не меньше 10?

Модель может сначала засомлеваться. Затем она подсчитывает варианты: три способа получить 10, два способа получить 11 и один способ получить 12. Шесть исходов из 36. Ответ — 1/6.

В нашем наглядном примере (на рисунке ниже, слева) модель начинает с уверенности в 25% и заканчивает на 88%. Эти проценты описывают ее уверенность в правильности ответа, а не вероятность исхода броска костей. Проработка задачи изменила ее оценку.

Уверенность может меняться и в другую сторону (на рисунке ниже, справа). Рассуждения над решением, которое поначалу кажется простым, могут выявить ошибочное предположение или противоречие. Полезная оценка уверенности должна уметь отражать это изменение, даже если модель все равно дает неверный ответ. Однако стандартные модели рассуждений не обязательно обладают этой способностью: подробный процесс рассуждений не гарантирует, что модель сможет надежно оценить и передать свою неопределенность.

В этом заключается идея нашего метода CALIBER: обучить модель рассуждений оценивать свои шансы на успех перед началом работы, а затем оценивать ее конкретный ответ после. На нашем математическом бенчмарке откалиброванная модель 7B снижает ошибку калибровки более чем в два раза по сравнению с лучшим базовым методом с одной оценкой уверенности по этой метрике. Ключевой момент заключается в том, что две оценки уверенности отвечают на разные вопросы.

Одна оценка уверенности скрывает два вопроса

Перед началом рассуждений модель видела только вопрос. Она может распознать тему и оценить, выглядит ли задача решаемой. Ее уверенность отвечает на вопрос: «Какова вероятность того, что я решу эту задачу?»

После рассуждений у нее появляется нечто более конкретное для оценки: решение, которое она фактически выдала. Теперь вопрос звучит так: «Какова вероятность того, что этот ответ правильный?»

Эти предсказания связаны между собой, но служат разным целям. Начальная уверенность дает представление о том, рассчитывает ли модель успешно справиться с вопросом. Конечная уверенность помогает пользователю оценить, требует ли полученный ответ более пристального внимания. Модель может часто решать задачи такого типа и все равно совершить ошибку при данной попытке. Или же она может подойти к сложному вопросу с осторожностью, а затем найти решение, которое может проверить.

обучает модель выдавать обе оценки в одном ответе: начальная уверенность, рассуждения, ответ и конечная уверенность. Эти два числа могут не совпадать, потому что рассуждения дают модели новую информацию для оценки. Цель состоит в том, чтобы сделать эти оценки достаточно значимыми для принятия решений о том, когда принять ответ, проверить его или обратиться за помощью.

Обучение тому, что именно должна предсказывать уверенность

Для обучения начальной уверенности мы позволяем модели попробовать решить один и тот же вопрос несколько раз. Если семь попыток из десяти оказываются успешными, 70% становится целевым значением для обучения. Это отражает то, как часто текущая модель может решить данный вопрос, еще до того, как мы узнаем, какую именно попытку она выдаст.

Для конечной уверенности задается другая цель: является ли этот конкретный ответ правильным. У успешной и неуспешной попыток решения одного и того же вопроса цель по начальной уверенности общая, но цели по конечной уверенности различаются. На рисунке ниже показано, как это работает.

В этом примере три из четырех попыток оказываются успешными, что дает целевое значение начальной уверенности в 75%. Четвертая попытка дает неверный ответ, поэтому ее целевое значение конечной уверенности равно 0. Отображаемые 60% и 20% — это предсказания модели. Обучение вознаграждает ее за приближение этих предсказаний к соответствующим целевым значениям.

Мы объединяем эти награды за уверенность с наградой за правильный ответ. Модель поощряется как за решение задачи, так и за точную оценку своих шансов. Осознание неопределенности в отношении неверного ответа может улучшить награду за уверенность, но оно не приносит награду за правильное решение. Цель состоит в том, чтобы сделать уверенность более полезной, удерживая при этом внимание модели на правильном решении задачи.

Почему говорить «70 процентов» каждый раз недостаточно

Представьте себе модель, которая отвечает правильно на 70% вопросов и каждый раз заявляет о 70-процентной уверенности. Ее уверенность идеально совпадает с ее общей точностью. Но если у вас есть время проверить лишь несколько ответов, эти одинаковые оценки не дают вам возможности выбора.

Теперь представьте другую модель с такой же общей точностью. Она присваивает 90-процентную уверенность половине своих ответов и 50-процентную — остальной половине. Если эти группы верны в 90% и 50% случаев соответственно, эта модель также откалибрована. Однако ее уверенность более полезна: она помогает вам сосредоточить проверки на тех ответах, в которых с большей вероятностью содержатся ошибки.

Поэтому мы оцениваем два свойства одновременно. Ожидаемая ошибка калибровки (ECE) измеряет, насколько уверенность соответствует наблюдаемой точности: среди ответов, которым присвоена примерно 80-процентная уверенность, примерно 80% должны быть правильными. AUROC измеряет, имеют ли правильные ответы тенденцию получать более высокую уверенность, чем неправильные. Более низкая ECE и более высокий AUROC — это лучшие показатели. Вместе они показывают, являются ли значения уверенности надежными и помогают ли они выявлять возможные ошибки.

На рисунке проиллюстрированы эти взаимодополняющие цели: уверенность должна соответствовать наблюдаемой точности и помогать отличать правильные ответы от ошибок.

Лучшая уверенность в математике и за ее пределами

Мы обучили модели 7B и 30B на 30 000 математических задач и оценили их на 1 000 отложенных задачах, а также на трех бенчмарках вопросов и ответов. В наших сравнениях используется общая схема обучения; облегченные («lite») базовые варианты представляют собой упрощенные адаптации предыдущих методов. Для CALIBER заявленные метрики калибровки оценивают конечную уверенность.

На BigMathDigits показатель ECE модели 7B снижается с 0.059 для сильнейшего базового метода с одной оценкой до 0.028 для CALIBER, что составляет уменьшение на 52.5%. CALIBER также достигает наилучших показателей AUROC (0.806) и Brier score (0.130), демонстрируя улучшения как в том, насколько точно уверенность соотносится с точностью, так и в том, насколько хорошо она отличает правильные ответы от ошибок.

Улучшения выходят за рамки математики. Без дополнительного обучения или выбора контрольных точек под конкретные задачи модель 7B снижает ошибку калибровки на 26.8% на GPQA, на 32.2% на TriviaQA и на 36.2% на SimpleQA по сравнению с сильнейшим базовым методом с одной оценкой на каждом наборе данных.

Результаты модели 30B показывают, почему эти метрики важны в совокупности. На BigMathDigits показатель ECE для CALIBER, равный 0.022, лишь немного лучше показателя CoCA-lite (0.023). Но ее AUROC составляет 0.797 по сравнению с 0.508 у CoCA-lite: это большая разница в том, насколько хорошо уверенность различает правильные и неправильные ответы. Другие базовые методы достигают немного более высокого AUROC, чем CALIBER, поэтому выгода зависит от того, какое свойство мы измеряем.

Уверенность в сравнении с наблюдаемой точностью на датасете BigMathDigits для модели 30B. Кривые, расположенные ближе к диагонали, откалиброваны лучше.

О чем говорит нам изменение уверенности

Наличие двух оценок позволяет нам увидеть, пересматривает ли модель свою оценку после рассуждения. На BigMathDigits средняя уверенность модели 7B возрастает с 78,5% до 83,5% для правильных ответов и падает с 62,6% до 54,5% для неправильных ответов. На других наборах данных она иногда снижает уверенность для обеих групп, причем большее снижение наблюдается для неправильных ответов.

Таким образом, рост или падение — это контекст, а не вердикт. Два ответа, которые заканчиваются с уровнем уверенности 70%, выражают одинаковую расчетную вероятность правильности, даже если одна оценка выросла, а другая упала. Итоговая оценка оценивает ответ; изменение же показывает нам, как развивалась оценка модели.

Наши эксперименты фиксируют это измерение до и после единого процесса рассуждения. Следующий вопрос заключается в том, могут ли надежные обновления уверенности помочь модели решить, когда следует провести верификацию, запросить больше информации или воздержаться. Мы не тестировали эти варианты использования здесь. CALIBER предоставляет отправную точку: уверенность, натренированную отражать то, что модель способна оценить на каждом этапе рассуждения.

Ознакомьтесь с полным описанием экспериментальной установки и результатами в статье: .