По-настоящему полезные ИИ-ассистенты должны помогать пользователям, которые задают ошибочные вопросы, а не только тем, кто формулирует правильный вопрос с нужной степенью детализации. Мы выпускаем XYBench — бенчмарк из более чем 8000 вопросов, который проверяет, как ИИ-ассистенты реагируют на запросы, основанные на заблуждениях. Например, когда пользователь спрашивает, как загустить глазурь, которая стекает с кексов, хотя реальная проблема заключается в том, что кексы еще слишком теплые для украшения. XYBench получил награду Best Resource Paper Award на конференции EMNLP 2026.
Несоответствие между подходом, о котором спрашивает человек, и целью, которую он хочет достичь, известно как XY-проблема: человек хочет выполнить задачу X, предполагает, что сработает конкретный подход Y, и просит помощи именно с Y. В примере с кексами человек настолько сосредоточен на том, чтобы заставить глазурь держаться, что не учитывает температуру кекса как истинную проблему, требующую решения.
Разработанный совместно с исследователями из Carnegie Mellon, NVIDIA и Johns Hopkins, XYBench выявляет критический пробел в способности LLM устранять неполадки: распознавание того, что запрос пользователя основан на скрытом заблуждении, и соответствующее перенаправление его к решению, которое отвечает его реальной цели. Опираясь на 8115 реальных вопросов, охватывающих программирование и повседневные дела, такие как кулинария и ремонт дома, мы представляем бенчмарк, который измеряет, способны ли модели выявлять эти заблуждения и отдавать приоритет эффективным решениям в своих ответах.
Модели, которые мы оценивали в XYBench — Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro — часто предлагали решение проблемы пользователя, но фокусировали свои ответы на исходном, ошибочном подходе. В отличие от эталонных ответов людей, все пять моделей реже направляли пользователей от этого подхода к решению, соответствующему их цели.
Люди используют ИИ-системы с разным уровнем знаний и не всегда знают, как лучше подойти к решению проблемы. Мы надеемся, что XYBench поможет исследователям измерить, делают ли улучшения моделей ассистентов более способными распознавать ошибочные предположения, объяснять, почему предложенный подход может не сработать, и предлагать более эффективные альтернативы — даже когда пользователи не знают, какие вопросы нужно задавать.
Создание XYBench
Мы создали XYBench из четырех источников: 1557 вопросов со Stack Overflow, 184 со Stack Exchange, 102 вручную отобранных примера и 6272 вопроса, сгенерированных на основе руководств WikiHow. Для каждого вопроса мы определили заявленный запрос (Y), о чем человек просит прямо, и предполагаемый запрос (X) — основную цель, которую можно вывести из контекста.
Для вопросов с публичных форумов мы использовали три наиболее высокооцененных человеческих ответа и принятый ответ (если он был доступен), чтобы установить предполагаемый запрос и возможные решения. Мы отфильтровали случаи, когда ответа на заявленный запрос было достаточно. Для WikiHow мы использовали Sonnet 4.5 для генерации вопросов вокруг правдоподобных заблуждений в процедурных руководствах, а затем уточнили их, чтобы включить достаточно контекста для эксперта, чтобы вывести основную цель, не заявляя о ней прямо. Мы удалили примеры, где ответ на буквальный запрос в значительной степени решал проблему.
Оценка полезности ответа
Модель может потратить несколько абзацев, рекомендуя более мощный пылесос, а затем вкратце предложить проверить, не засорился ли шланг. Если причиной слабого всасывания является засор, его устранение может решить проблему.
Более полезный ответ распознал бы, что пользователь хочет восстановить всасывание, и сосредоточился бы на диагностике причины. Это опирается на прагматику — раздел лингвистики, изучающий, как контекст и коммуникативное намерение формируют смысл. Чтобы проверить, используют ли модели это понимание в своих ответах, XYBench измеряет три аспекта каждого ответа:
- Прагматическое решение — фиксирует, включает ли ответ модели решения для заявленного запроса (Y) и предполагаемого запроса (X), проверяя каждое отдельно.
- Прагматический акцент — измеряет, фокусируется ли ответ модели на заявленном запросе (Y), на предполагаемом запросе (X) или балансирует между ними.
- Идентификация заблуждения — измеряет, направляет ли ответ модели пользователя к основной цели (X), одновременно отговаривая от ошибочного подхода (Y) или избегая его.
В XYBench в качестве автоматизированного судьи выступает Claude Sonnet 4.5. Он классифицирует отдельные предложения в ответе каждой модели и оценивает прагматический акцент ответа.
Чтобы подтвердить суждения Sonnet 4.5, два эксперта-человека независимо оценили 500 ответов моделей на вопросы XYBench. Согласие с судьей, усредненное по рецензентам, варьировалось от 97,5 до 100% в вопросе о наличии решения, от 84,6 до 93,3% в идентификации заблуждений и от 74,2 до 79,8% в прагматическом акценте.
Что показывают эксперименты
Мы оценили Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro на XYBench в режиме одного хода (single-turn), с одним ответом на вопрос. Мы оценили эталонные ответы людей отдельно, используя те же метрики.
По всем четырем источникам каждая модель с большей вероятностью включала решение заявленного запроса (Y), чем основной цели (X). На Stack Overflow решения для заявленного запроса появлялись в 75–86% ответов по сравнению с 59–71% для решений основной цели.
Мимолетное упоминание решения не делает его фокусом ответа. В примере с пылесосом модель могла вкратце предложить прочистить шланг, но сосредоточить большую часть ответа на покупке более мощного пылесоса. Мы бы засчитали такой ответ как содержащий решение основной цели, даже если модель сделала акцент на заявленном запросе. Мы измерили общий акцент отдельно: на Stack Overflow модели фокусировались в первую очередь на основной цели только в 35–41% своих ответов, а на заявленном запросе — в 47–57%. В остальных ответах модели уделяли одинаковое внимание заявленному запросу и основной цели.
Пять моделей и лучшие ответы людей на вопросы XYBench со Stack Overflow
Упоминает исправление для основной цели
(например, прочистить шланг пылесоса)
71%
67%
66%
64%
62%
59%
Фокусирует свой ответ на основной цели
(например, большая часть совета касается прочистки шланга пылесоса)
55%
41%
41%
40%
36%
35%
Направляет пользователей к цели, а не к ошибочному подходу
(например, прочистить шланг пылесоса, а не покупать новый)
79%
60%
60%
55%
54%
47%
Мы также проверили, поможет ли явное указание цели пользователя. В эксперименте с оракулом мы предоставляли как заявленный запрос (Y), так и предполагаемый запрос (X) вместе с каждым вопросом. На Stack Overflow показатель включения решения основной цели у Sonnet 4.6 вырос с 59% до 67%, но показатель идентификации заблуждений упал с 47% до 34%. По всем источникам с эталонными ответами людей каждая модель в этом эксперименте все еще отставала от людей в идентификации заблуждений. Предоставление намерения помогло, но не позволило стабильно сократить разрыв с ответами людей. Это говорит о том, что обнаружение намерения — лишь часть задачи: модели также должны действовать в соответствии с ним, когда оно расходится с заявленным запросом.
В ходе отдельного эксперимента проверялось, могут ли модели определять полезные советы при оценке ответов, а не при их написании. Мы предложили тем же пяти моделям, а также GPT-4.1, каждый вопрос с двумя возможными вариантами ответа: один был сосредоточен на буквальном запросе, а другой объяснял заблуждение и затрагивал лежащую в основе цель. На Stack Overflow все шесть моделей выбрали ответ, ориентированный на цель, в 71–84% случаев. Для сравнения, лишь 35–41% ответов, написанных пятью моделями в нашей основной оценке, были в первую очередь сосредоточены на лежащей в основе цели. Полученные результаты выявляют разрыв между распознаванием полезного совета и его созданием, который тест с множественным выбором сам по себе упустил бы из виду.
Выбор и написание ответов с упором на цель для вопросов Stack Overflow из XYBench
Выбирает ответ с упором на цель при предъявлении двух вариантов
(например, прочистка шланга пылесоса вместо покупки нового)
84%
83%
81%
72%
71%
Фокусирует свой ответ на лежащей в основе цели
(например, большая часть советов касается прочистки шланга пылесоса)
41%
41%
40%
36%
35%
Что это значит для оценки
Исследователи могут использовать XYBench, чтобы проверить, помогают ли изменения в промптинге или обучении моделям выявлять заблуждения, предлагать решения фундаментальных проблем пользователей и делать эти решения главным фокусом своих ответов. Измерение каждого поведения по отдельности позволяет исследователям увидеть, улучшает ли прогресс в одном аспекте остальные.
В будущих исследованиях можно было бы проверить, какие методы обучения помогают моделям действовать на основе предполагаемого намерения — то есть того, что нужно пользователям, а не только того, о чем они буквально попросили. В настоящее время XYBench охватывает запросы на английском языке и в основном процедурные проблемы; расширение его на другие языки, культуры и разговорные сценарии остается открытым направлением.
Мы надеемся, что XYBench позволит исследователям создавать модели, которые предлагают полезные советы даже тогда, когда первый вопрос пользователя основан на ошибочном предположении.
