Насколько Jev точен в классификации по сравнению с передовыми моделями?

Jev — это модель принятия решений System One от TypeSafe. Вы передаете ей объект состояния приложения и типизированный вопрос, а она возвращает вам типизированный ответ, показатель уверенности и вероятность для каждого возможного варианта (тип ответа Decisions API, а не эндпоинты чата). Согласно презентации TypeSafe, вы можете заменить пограничную модель чата небольшой моделью оценки, такой как Jev, и добиться значительного снижения затрат и задержки на таких задачах классификации, как эта. Какой точностью вы жертвуете?

Мы прогнали 3080 Banking77 высказываний службы поддержки клиентов через Jev 1.13 и Claude Opus 5 — модель, на которую пользователи OpenRouter потратили больше всего средств на классификацию в разделе расходов на задачи на странице ее рейтинга по состоянию на 22 сентября 2026 года. Каждое высказывание распределяется в одно из 77 банковских намерений, и обеим моделям было предоставлено одинаковое описание каждого намерения в одну строку.

На приведенной ниже диаграмме Jev и Opus сопоставлены бок о бок, демонстрируя их сравнение по точности, медианной задержке и стоимости за тысячу запросов.

Jev отстает от Opus по точности на 3,3 пункта, но при этом работает в 13 раз быстрее в среднем и стоит всего 1/22 от стоимости Opus.

Сравнение Jev и Claude Opus 5 с первого взгляда

Ниже приводится более подробный анализ результатов. Макро-F1 дает равный вес каждому намерению.

Цифры в скобках представляют собой 95% бутстрэп-доверительные интервалы, которые мы рассчитали по 3080 примерам. Ни одна из моделей не выдала некорректный ответ. Каждая ошибка была неверной меткой, а не сбоем синтаксического анализа.

Как мы это проводили

Banking77 — это набор данных о намерениях службы поддержки клиентов на уровне высказываний от PolyAI с лицензией CC BY 4.0. Высказывания короткие (медиана — девять слов), и каждое из них размечено одним из 77 намерений. Когда мы запустили Jev и Opus на Banking77, мы использовали полный тестовый сплит, который содержит 3080 примеров, по 40 на каждое намерение. Некоторые намерения настолько близки, что модели не могут просто уловить пару ключевых слов и прекратить чтение. Подумайте о card_arrival против card_delivery_estimate.

Мы написали однострочный критерий для каждого намерения, основываясь только на названии метки, вообще не заглядывая в тестовые данные, и передали точно такой же список критериев как Jev, так и Opus. Чтобы оценить Jev, мы отправили каждое высказывание в виде вопроса выбора Decisions API с 77 критериями в качестве вариантов. Для Opus мы создали промпт, в котором модель видела системное сообщение со списком всех критериев, а затем пользовательское сообщение только с высказыванием. Мы запускали Opus с нулевой температурой, отключенным рассуждением и используя строгий формат ответа по схеме JSON с перечислением из 77 меток. Мы включили кэширование промптов для системного сообщения, так как оно было идентичным для каждого запроса. Обе модели работали с одной и той же машины, и мы отправляли по 8 параллельных запросов одновременно, измеряя задержку как время кругового пути (round-trip), наблюдаемое клиентом через OpenRouter.

Насколько точен Jev?

Давайте поговорим о цифрах. На Banking77 Jev показывает 81,0%, Opus — 84,4%. Парный бутстрэп дает 95% доверительный интервал от 2,3 до 4,4 пункта, поэтому маловероятно, что превосходство Opus примерно на три пункта является случайным шумом.

С положительной стороны, эти две модели демонстрируют колоссальное согласие. Они сходятся в оценке 89,3% высказываний. Там, где их мнения расходятся, Opus самостоятельно правильно определяет 175 случаев, а Jev — 72.

С отрицательной стороны, обе модели все еще значительно отстают от диапазона чуть выше 90%, который демонстрируют энкодеры, дообученные на всех 10 003 примерах обучающей выборки Banking77. Такова цена отказа от полноценного дообучения в пользу однострочных критериев.

По классам Opus опережает Jev в 35 из 77 намерений, Jev — в 15, а в 27 наблюдается ничья. Наибольшее преимущество Opus зафиксировано в категории receiving_money, где он набирает 80,0% против 52,5% у Jev. Между тем Jev блистает в категории compromised_card с результатом 95,0%, тогда как у Opus — 70,0%. Opus склонен принимать украденные данные карты за нераспознанный платеж.

Насколько быстр и дешев Jev?

Если кратко, то медианное время кругового пути для Jev составило 175 мс, а p95 — 270 мс. Opus же, напротив, без режима рассуждений показал медианное время кругового пути 2266 мс и p95 3004 мс. Это означает, что самый медленный вызов Jev (~1,6 с) оказался быстрее самого быстрого вызова Opus (~1,9 с).

Итоговая стоимость для Jev составила $0,34, или $0,11 за тысячу запросов. Opus обошелся в $7,44, или $2,42 за тысячу запросов. В эту цифру для Opus заложено кэширование системного промпта на 3700 токенов, поэтому все запросы обрабатывались по тарифу чтения из кэша, а не по стандартному прайсу. Без кэширования стандартный тариф для Opus составил бы около $19 за тысячу запросов. Так что если вы используете таксономию меток с пограничной моделью, кэшируйте этот системный промпт.

Маршрутизация по уровню уверенности Jev

Jev выдает показатель уверенности, но это не откалиброванная вероятность. В данном случае модель переоценила собственную точность в среднем диапазоне. Тем не менее, ранжирование работает хорошо. Для 58% высказываний с уверенностью ≥0,99 точность составляет 96,3%. Для 3,5% высказываний с уверенностью ниже 0,5 точность равна 29,6%.

Такого порядка сортировки вполне достаточно для каскадирования. Принимайте ответы Jev выше заданного порога, а остальные отправляйте на Opus. Ниже приведены точность и стоимость за тысячу запросов на каждом пороге — от варианта «только Jev» до «только Opus».

При пороговом значении 0,90 76% трафика обходят Opus стороной. Взамен ваша точность снижается максимум на 0,4 пункта по сравнению с использованием только Opus, а затраты сокращаются в 3,5 раза. Opus правильно распознал 175 высказываний, которые пропустил Jev. Медианная уверенность в этих случаях составляла 0,67, причем 85% из них были ниже 0,90. Так что Jev обычно понимает, когда он просто угадывает.

Оговорки

Итак, давайте поговорим конкретно о проведенном нами тесте: один набор данных, один домен, один дизайн промпта и одно пятнадцатиминутное окно во второй половине дня.

Если здесь присутствует эффект запоминания у Opus, его результат может быть немного завышен, поскольку датасет Banking77 был опубликован в 2020 году. Но по одному этому прогону сказать наверняка нельзя.

Другой момент заключается в том, что обе модели споткнулись на одном классе, поскольку критерии были составлены только на основе названий меток, без просмотра примеров сообщений. В данном случае одной из меток была get_physical_card, которая охватывает запросы о том, отправляется ли пин-код отдельно. Угадать это по названию практически невозможно. Обе модели набрали 0 из 40 по этому классу, направив большинство сообщений в категорию change_pin. Исключив только этот класс, Jev достиг 82,1%, а Opus — 85,5%. Но команда разработки итеративно улучшала бы критерии с использованием отложенных тренировочных данных, а не тестового набора, и обе модели стали бы лучше.

В представленной каскадной таблице использовались ровно те же 3080 примеров, которые применялись для измерения точности, так что это верхняя граница. Выбирайте порог на основе собственного трафика.

И наконец, эти тесты запускались с Opus в режиме «без рассуждений» и с включенными структурированными выводами. Opus не тестировался в режиме «с рассуждениями» или с другими схемами либо примерами few-shot.

Что это значит

Если три пункта точности перевешивают $2,42 за тысячу запросов, выбирайте Opus. Если вы работаете с высокими объемами, низкой задержкой или нуждаетесь в запасном варианте, один лишь Jev отстал от Opus всего на 3,3 пункта. Более того, запуск каскада на основе показателя уверенности Jev позволил приблизиться к Opus на расстояние в 0,4 пункта при затратах менее 30% от его стоимости.

Справочник по Decisions API содержит описание базовой структуры запроса. В кулинарной книге Jev приводится пример работающего вопроса с выбором (Choice) на языке TypeScript. В кулинарной книге по каскадам, проверенным Jev, представлен шаблон эскалации в коде: черновик создается дешевой моделью, Jev проверяет этот черновик, а передовая модель обрабатывает только те случаи, которые не прошли проверку. Тестовая выборка Banking77 представляет собой CSV-файл на 3080 строк в репозитории PolyAI.

Чтобы запустить подобную задачу по разметке для вашего собственного бэклога, обратитесь к кулинарной книге «Классификация и тегирование текста в масштабе с помощью Jev», где рассматриваются вопросы пакетной обработки с учетом ограничений по частоте запросов, выбора порогового значения для каждой метки на основе размеченной выборки и расчета стоимости на 1000 элементов. Если вы новичок в Jev, начните со статьи «Что такое Jev?», а затем ознакомьтесь с материалом «Jev против LLM» для случаев, когда модель принятия решений заменяет генеративный вызов. В центре документации Jev перечислены все руководства и кулинарные книги по Jev на OpenRouter.

Часто задаваемые вопросы

Насколько точен Jev по сравнению с Claude Opus 5 в классификации намерений?

На тестовой выборке Banking77, состоящей из 3080 высказываний по 77 намерениям (данные на 22 сентября 2026 года), Claude Opus 5 достиг точности 84,4% и макро-F1 83,6%, в то время как Jev 1.13 достиг точности 81,0% и макро-F1 80,5%. Разрыв в парах составил 3,3 процентных пункта по точности с 95% бутстреп-интервалом от 2,3 до 4,4 процентных пункта. Модели совпали в 89,3% высказываний.

Насколько Jev быстрее передовой модели при классификации?

По медианной и p95 задержке «туда и обратно», наблюдаемой клиентом, Jev показал медиану 175 мс и p95 270 мс, тогда как Claude Opus 5 с отключенным рассуждением показал медиану 2266 мс и p95 3004 мс, что примерно в 13 раз выше по медиане. Эти показатели измерены с одного и того же клиента при 8 одновременных запросах. Они включают время сети и любую очередь в системе провайдера до фактического вывода.

Сколько стоит классификация текста с помощью Jev на OpenRouter?

Все 3080 запросов Banking77 обошлись в общей сложности в 0,34 доллара США при использовании typesafe/jev-1.13, что составляет 0,11 доллара за тысячу запросов или около 0,0001 доллара за запрос. При использовании кэширования промптов для системного промпта с 77 метками те же запросы обошлись в 7,44 доллара США при использовании anthropic/claude-opus-5, или 2,42 доллара за тысячу. Без кэширования Opus обошелся бы примерно в 19 долларов за тысячу по прейскуранту.

Могу ли я использовать показатель уверенности Jev, чтобы решать, когда переключаться на более мощную модель?

Да, и в наших данных он работает как сигнал ранжирования. Мы измерили точность Jev: 96,3% на 58% высказываний с уверенностью не менее 0,99 и 29,6% на 3,5% высказываний с уверенностью ниже 0,5. Перенаправление всех запросов с уверенностью ниже 0,9 на Claude Opus 5 позволило восстановить точность до 84,0%, что находится в пределах 0,4 пункта от точности одного лишь Opus, при стоимости 0,69 доллара за тысячу запросов. Поскольку показатель не откалиброван как вероятность, выбирайте пороговое значение, которое подходит для ваших собственных данных.