Действительно ли ваш LLM-в-роли-судьи объективен?

В технологической среде бытует распространенное заблуждение о том, что люди субъективны, поэтому для объективной оценки следует полагаться на ИИ. Но реальность такова, что LLM тоже субъективны. Как и люди-рецензенты, они могут иметь предвзятости:

Предвзятость многословности: судьи на базе LLM обычно отдают предпочтение более длинным и уверенно звучащим ответам, даже если лежащие в их основе факты неверны.
Предвзятость позиции: изменение порядка двух вариантов может заставить судью на базе LLM изменить свое решение over 75% of the time.
Эффект ореола: поскольку LLM генерируют текст по частям, аккуратная грамматика и форматирование могут обмануть судью-ИИ, заставив его поставить высшие оценки за точность, не заметив при этом ошибок.
Предвзятость соглашательства: судьи на базе LLM отлично распознают корректную работу. Но при обнаружении ошибок они могут не заметить неверные, содержащие баги или небезопасные результаты up to 75% of the time.
Предвзятость самовозвеличения: также известная как эгоцентрическая предвзятость, ИИ-оценщики систематически завышают оценки результатам, сгенерированным ими самими или моделями их семейства.

В конечном счете судьи на базе LLM не являются объективными арбитрами истины. Это субъективные модели со своими собственными отчетливыми предвзятостями. Если относиться к ним как к непогрешимым инструментам, качество которых не нужно измерять, это может поставить под угрозу вашу работу.

В этой статье мы рассмотрим, что мешает предприятиям внедрять надежные оценки, и поделимся простым методом из трех столпов, который вы можете использовать для повышения их качества.

Три полезных способа аудита ваших судей на базе LLM

Столп 1: Измеряйте внутреннюю стабильность

Прежде чем доверять оценке судьи-ИИ, вам нужно убедиться, что он не просто угадывает. Поскольку LLM вероятностны, они могут быть непоследовательны, выдавая разные оценки для одного и того же текста.

Вы можете проверить эту внутреннюю стабильность, запустив многопроходные проверки на согласованность для одного результата и рассчитав дисперсию. Если оценки судьи сильно колеблются на идентичных входных данных, его критерии оценивания слишком неоднозначны.

Столп 2: Проверяйте соответствие человеку

Когда ваши оценочные наборы данных в основном состоят из корректных ответов, снисходительный судья-ИИ может выглядеть отлично на бумаге. Он может в целом тесно совпадать с рецензентами-людьми, но пропускать большинство некорректных или даже небезопасных результатов.

Чтобы доказать, что ваш LLM-судья улавливает реальные ошибки, вам нужны метрики с поправкой на случайность. Эти математические модели отфильтровывают совпадения, вызванные исключительно снисходительностью или случайным стечением обстоятельств, показывая, насколько точно ваш эвалюатор на самом деле согласуется с информированными решениями экспертов-людей.

Столп 3: Используйте ансамбли из нескольких судей

Чтобы избежать упомянутого ранее эффекта ореола, командам следует использовать декомпозированный промптинг. Вместо того чтобы просить одного LLM-судью оценить весь ответ целиком, назначьте специализированного судью для оценки конкретного критерия, например фактической точности или тона. Это изолирует характеристики и принудительно задает независимое оценивание.

Во-вторых, для отслеживания производительности в реальном времени без вмешательства человека устоявшейся передовой практикой является ансамблирование. Это означает одновременный запуск по меньшей мере двух разных моделей «под капотом» для оценки абсолютно одинаковых результатов.

Находя статистический консенсус между этими моделями, вы можете вовремя заметить, если их оценки начнут расходиться, и предотвратить любое ухудшение качества оценивания.