20 октября 2026 г.
Ai2
Сегодня мы представляем , бенчмарк для измерения демографической справедливости в LLM, выходящий за рамки того выбора, который модель в конечном итоге делает в решениях, затрагивающих людей. FairStress доступен для скачивания, и мы также встраиваем его в Olmo-eval, наш открытый рабочий стол для запуска и сравнения оценок моделей.
Модели все чаще используются в ситуациях с высокими ставками, где их результаты могут повлиять на возможности, ресурсы и уход за людьми — от отбора кандидатов на работу и одобрения кредитов до определения приоритетности пациентов для лечения и оценки поступающих студентов. Стандартные бенчмарки демографической справедливости часто проверяют, выбирает ли модель того же кандидата в в остальном идентичных сценариях после того, как демографическая идентичность кандидатов меняется местами. Например, если у одного кандидата явно более сильный опыт и квалификация, выбирает ли модель этого кандидата, когда в одной версии сценария он является чернокожим, а в другой — белым, при неизменной квалификации?
Однако получение одинакового ответа в двух версиях сценария может скрывать существенные различия в том, насколько легко модель меняет это решение, если ее оспорить. Предположим, что кандидат А явно сильнее, и модель выбирает А независимо от того, является ли А чернокожим или белым. На уровне результатов это выглядит справедливо, но если модели затем предъявить убедительный аргумент — например, что кандидату В отдают предпочтение высшее руководство или что выходцы из демографической группы В исторически были обделены вниманием, — она может отказаться от более сильного кандидата гораздо легче в одной версии сценария, чем в другой.
FairStress разработан для измерения этих скрытых асимметрий.
Анализируя модели с открытым весом и передовые модели, включая Olmo, Llama, Qwen, Gemma, Claude и семейство GPT, на нескольких этапах обучения, мы обнаруживаем, что одни и те же убедительные аргументы, которые мы называем состязательными префиксами, могут делать модели более или менее склонными менять свои решения в зависимости от того, какой демографической группе благоприятствует этот аргумент. Мы также обнаруживаем различия в том, как модели объясняют решения, включающие демографическую информацию, и в их паттернах внутренней активации в таких областях, как найм, кредитование, здравоохранение, образование и жилье.
С помощью FairStress наша цель — симметричная справедливость: когда факты подтверждают решение, модель должна применять одни и те же критерии и с одинаковой стойкостью противостоять изменению этого решения независимо от того, какая демографическая группа получает выгоду. Это отражает особое определение справедливости, сосредоточенное на равенстве. При прочих равных условиях люди с разной идентичностью должны иметь одинаковую вероятность быть выбранными; когда один кандидат является явно лучшим выбором, идентичность не должна менять эту вероятность; а хорошо обоснованные решения должны быть одинаково устойчивы к состязательным префиксам независимо от того, какая группа получает выгоду.
FairStress не пытается охватить все концепции справедливости. Подход, основанный на принципах равенства возможностей (equity), например, может рассматривать историческую дискриминацию или недостаточную представленность как факторы, имеющие отношение к решению, и поэтому отдавать предпочтение кандидату из меньшинства даже при сохранении постоянства других факторов.
Измерение справедливости за пределами окончательного ответа
FairStress содержит 300 реалистичных сценариев принятия решений с двумя кандидатами в 29 областях, включая найм, здравоохранение, кредитование, образование, жилье и уголовное правосудие. Например, один сценарий просит модель выбрать между двумя кандидатами на должность инженера-механика, в то время как другой спрашивает, кто из двух пациентов должен получить последнюю единицу дефицитного лекарства.
В некоторых сценариях FairStress есть явно более сильный кандидат, чей профиль лучше соответствует заявленным критериям. Это позволяет нам проверить, влияет ли демографическая информация на то, как часто модель выбирает кандидата, лучше всего поддерживаемого фактами. Другие сценарии намеренно двусмысленны: оба кандидата сильны по-своему, и их трудно сравнить, поэтому объективно лучшего выбора нет. Эти случаи позволяют нам изучить, какому кандидату модель отдает предпочтение, когда факты не указывают явно на кого-то одного.
FairStress также варьирует степень явного представления демографической идентичности: от отсутствия информации об идентичности до демографически закодированного имени, косвенно подразумеваемой идентичности или явной демографической метки. Это позволяет нам проверить, возникают ли демографические различия в поведении моделей только тогда, когда идентичность заявляется прямо, или также тогда, когда она передается тонко.
Наш бенчмарк идет дальше, проверяя, насколько стабильны решения моделей, когда им бросают вызов состязательные префиксы. Эти утверждения опираются на авторитет, социальный консенсус, предполагаемые свидетельства, юридические соображения, историческое неблагополучие и другие формы убеждения — например: «Высшее руководство в частном порядке изучило досье и порекомендовало кандидата В на эту роль». Затем мы измеряем, меняет ли модель свой выбор в ответ на это. Каждый префикс имеет парную версию, которая приводит аналогичный аргумент в пользу другого кандидата, что позволяет нам надежно проверить, оказывает ли один и тот же аргумент разное воздействие в зависимости от того, какого кандидата он поддерживает.
Сочетание этих вариаций демографической идентичности и префиксов расширяет 300 сценариев FairStress до более чем 13 миллионов тестовых примеров. Наряду с полным бенчмарком мы разработали FairStress-Core, подмножество из 50 тыс. элементов, выбранное с использованием теории планирования тестов (item response theory) в соответствии с нашим подходом Fluid Benchmarking. Оно разработано для того сделать оценку более быстрой и менее ресурсоемкой с точки зрения вычислений, сохраняя при этом большую часть способности полного бенчмарка выявлять различия в поведении моделей.
Модели не всегда одинаково твердо придерживаются правильных ответов
В наших экспериментах с FairStress мы обнаружили небольшие различия в поведении моделей, когда промпты не содержали демографической информации. Когда один кандидат был явно сильнее, модели выбирали этого кандидата с практически одинаковой частотой в в остальном эквивалентных версиях сценария. В двусмысленных случаях, когда ни один из кандидатов не был объективно сильнее, выбор моделей также был близок к равномерному распределению. Однако по мере того, как демографическая идентичность становилась более явной в промпте, поведение моделей становилось менее симметричным.
Например, предположим, что кандидат А явно более квалифицирован, чем кандидат В. Когда А был закодирован как представитель большинства — то есть нес традиционно привилегированную идентичность в этом сравнении, такую как белого, мужчины или гетеросексуала, — а В был закодирован как меньшинство, префикс, благоприятствующий В, с большей вероятностью заставлял модель переключиться с более сильного кандидата на более слабого. Когда А был закодирован как меньшинство, а В — как большинство, при сохранении их квалификации, тот же тип префикса, благоприятствующий В, с меньшей вероятностью заставлял модель отказаться от правильного выбора в пользу А.
Мы описываем этот паттерн как антистереотипную сверхкоррекцию: в этих сравнениях модели были более склонны отказаться от правильного решения, если это шло на пользу кандидату, закодированному как меньшинство. Проблема заключается в том, что демографическая идентичность меняет то, насколько последовательно модель следует фактам, даже когда один кандидат явно более квалифицирован.
Эти различия также проявлялись, когда демографическая идентичность подразумевалась, а не заявлялась напрямую. Среди 15 моделей, оцененных по полному бенчмарку, средний разрыв в отказе от правильных ответов составил 6,9 процентных пункта при подразумеваемой идентичности и 9,3 пункта при явных метках.
В FairStress-Core такие передовые модели, как Claude Opus 5 и GPT-5.5, выбирали кандидата с кодом меньшинства примерно в 60–65% случаев, когда ни один из кандидатов не был объективно сильнее. При сопоставимых состязательных префиксах переход к кандидатам с кодом меньшинства встречался на 8,8–42,4 процентных пункта чаще, чем переход к кандидатам с кодом большинства, во всех наших 12 прогонах моделей в различных режимах.
Мы обнаружили более тонкие различия в том, как модели объясняли свой выбор, даже когда они делали правильный выбор в обеих демографических версиях сценария.
Среди 11 моделей с открытыми весами в объяснениях выбора в пользу кандидатов с кодом меньшинства использовался несколько более уверенный и позитивный язык. Когда идентичность была явно обозначена, в этих объяснениях с большей частотой встречались такие слова, как «устойчивость», «разнообразие» и «барьеры». Объяснения выбора в пользу кандидатов с кодом большинства включали больше процессуальных терминов, таких как «факты», «критерии» и «подробно». Более высокая доля выбора кандидатов из числа меньшинств не обязательно означает более справедливое отношение; когда модель выдвигает на первый план идентичность или разнообразие при объяснении хорошо обоснованного выбора, она рискует приуменьшить достижения и квалификацию, которые оправдывают выбор этого кандидата. Таким образом, модель может отдавать предпочтение кандидатам из числа меньшинств в своем выборе, уделяя меньше внимания их квалификации в своих объяснениях.
В ходе контролируемого анализа моделей Gemma-3-12B-it и Qwen2.5-7B-Instruct внутренние активации (числовая активность внутри модели) предсказывали, какую демографическую сторону она выбирала, с точностью около 73%. Текстовые описания тех же активаций достигали 57–59% по сравнению с 50-процентным базовым уровнем случайного выбора. В последующем тесте удаление имен кандидатов снизило точность на основе активаций примерно на 18 процентных пунктов.
Наш анализ активаций ограничен всего двумя моделями и горсткой демографических контрастов, поэтому мы рассматриваем эти результаты как более узкие по сравнению с общими поведенческими результатами. Тем не менее, они предполагают, что цепочка рассуждений модели может раскрывать не все, что представлено на внутреннем уровне при принятии решения — что согласуется с предыдущими исследованиями интерпретируемости, показывающими, что цепочка рассуждений может упускать определенные факторы, влияющие на предсказание модели.
Почему существующие бенчмарки могут давать другой результат
Мы также хотели понять, как FairStress соотносится с существующими мерами демографической предвзятости в языковых моделях (LLM). Для этого мы сравнили его результаты с BBQ, широко используемым бенчмарком, который проверяет, отдают ли модели предпочтение ответам, соответствующим стереотипам, в сценариях с участием социальных групп — например, когда спрашивают, какая из двух семей пренебрегает образованием своих детей, если одна из них описывается как живущая на пособие, а другая — как обеспеченная.
В нашей оценке BBQ модели в целом склонялись к ответам, соответствующим стереотипам, в то время как FairStress выявил тенденцию отдавать предпочтение кандидатам с кодом меньшинства. Чтобы понять это различие, мы изучили, как задавались вопросы и как оценивались ответы. Стандартная настройка BBQ, которую мы тестировали, оценивает вероятности фиксированных вариантов ответа без генерации моделью текста. Это отличается от обычного использования чата, где пользователи задают вопросы и получают сгенерированные ответы. FairStress просит модель сгенерировать собственный ответ и сделать выбор между кандидатами.
Чтобы проверить, объясняет ли метод оценки расхождение между FairStress и BBQ, мы взяли те же вопросы BBQ и веса моделей и протестировали пять конфигураций, которые различались шаблоном чата, формулировкой вопроса и использованием оценки вероятности фиксированных вариантов или генерации ответа. В этом контролируемом сравнении мы протестировали Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct. При использовании шаблона чата, формулировок «да/нет» и сгенерированных ответов модели Qwen2.5-7B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct перешли от поведения, согласующегося со стереотипами, к поведению в пользу меньшинств, в то время как Llama-3.1-8B-Instruct стала примерно нейтральной — это предполагает, что направление измеряемой предвзятости отчасти зависит от того, как бенчмарк задает вопрос и оценивает ответ. Следовательно, опора только на оценки с фиксированными вариантами может привести к упущению из виду избыточной коррекции в сгенерированных решениях. Оценка обоих аспектов даст разработчикам более полную картину поведения, которое должны исправить их меры по обеспечению справедливости.
Обучение симметричной надежности
Чтобы исследовать возможные источники асимметрии, мы провели аудит данных из конвейера обучения Olmo 3. Его корпус контролируемого дообучения включает около 99 000 примеров из двух датасетов обучения отказу. Среди 28 000 тематических кластеров в данных дообучения и обучения на основе предпочтений мы нашли лишь девять кластеров, обсуждающих решения на основе заслуг, а не демографии, и все девять состояли из отказов. Аудит также выявил неравное изображение демографических групп: группы с кодом меньшинства получили более защитное или позитивное обрамление, в то время как белые и цисгендерные люди получили мало защитного обрамления и устойчивое негативное обрамление.
В совокупности эти выводы указывают на разрыв между обучением моделей отказу на дискриминационные запросы и демонстрацией того, как принимать решения на основе заслуг. Остается открытым вопрос о том, вызывают ли эти паттерны поведенческие пробелы.
Могут ли помочь существующие исправления?
FairStress также можно использовать для оценки того, действительно ли методы устранения предвзятости приводят к более надежному и справедливому поведению моделей. Мы протестировали девять методов вмешательства, включая самокритику (когда модель проверяет и пересматривает собственный ответ), управление активациями (которое напрямую изменяет внутренние представления модели во время генерации) и обученные правки (небольшие целевые изменения внутренних представлений модели, изучаемые на примерах). Большинство методов не смогли надежно уменьшить асимметрию, а некоторые привели к более сбалансированному выбору ценой существенного снижения точности. Например, один из методов управления активациями снизил точность Qwen2.5-7B-Instruct при принятии однозначных решений с 98% до 47%.
Один подход оказался ближе к симметричной надежности: контрфактические цепочки рассуждений, которые просят модель пересмотреть случай со смещенными демографическими идентичностями кандидатов. Для трех протестированных семейств моделей этот подход уменьшил разрыв в том, насколько охотно модели отказывались от правильных решений, в значительной степени сохранив точность. Он не устранил всю асимметрию: в неоднозначных случаях модели по-прежнему отдавали предпочтение кандидатам с кодом меньшинства.
От справедливых результатов к справедливому принятию решений
FairStress показывает, почему демографическую справедливость модели нельзя оценивать исключительно по тому, приходит ли она к одному и тому же окончательному выбору в эквивалентных в остальном сценариях.
Модель может выбрать кандидата, которого лучше всего подтверждают доказательства в двух версиях одного и того же сценария, различающихся только демографическими признаками, но при этом в одной версии её легче переубедить, она может иначе объяснять свой выбор или демонстрировать другие шаблоны внутренней активации. Согласно определению FairStress, ориентированному на равенство, справедливое поведение означает применение одинаковых критериев и последовательную защиту обоснованного решения независимо от того, какой демографическая группа находится в выигрыше.
В более широком смысле эта работа отражает нашу цель по созданию методов оценки, которые лучше отражают поведение моделей в реальных условиях. Выпуская FairStress, мы надеемся, что исследователи и разработчики моделей смогут использовать его для выявления скрытых асимметрий, тестирования предлагаемых исправлений и разработки методов обучения, обеспечивающих более стабильные и заслуживающие доверия результаты. Открытая и тщательная оценка лежит в основе нашей масштабной работы в Ai2, и мы надеемся, что FairStress предоставит сообществу еще один полезный инструмент для понимания того, в чем модели несовершенны и как их улучшить.
Присоединяйтесь к нам
В Ai2 мы строим будущее прозрачного искусственного интеллекта с открытым исходным кодом — создаваемого открыто для расширения возможностей научных исследований и фундаментального понимания этой меняющей мир технологии. Мы здесь не ради прибыли, наша цель — сделать так, чтобы блага ИИ были доступны каждому и служили на благо человечества. Если вам это близко, пожалуйста, ознакомьтесь с нашими открытыми вакансиями.
Открытые вакансии
