LocalAI теперь поддерживает модели принятия решений в стиле Jev, которые отвечают на именованные вопросы о тексте и возвращают структурированные результаты. Вы можете выбрать категорию, оценить утверждение или присвоить уровень по шкале, задав несколько вопросов в одном запросе.
Это полезно, когда вашему приложению требуется решение, а не текстовый ответ. Вы предоставляете текст и описываете варианты выбора. Ваше приложение считывает ответы по имени вопроса, не извлекая метку из чат-ответа.
Например, система поддержки может выбрать очередь для входящего тикета и отдельно проверить, просит ли клиент об отмене. Рабочий процесс модерации может пометить комментарий для проверки и назначить уровень срочности. Селектор моделей может классифицировать запрос как перевод, код или общую помощь перед отправкой его в подходящую модель.
Это шаблоны приложений, а не встроенные рабочие процессы. Вы сами определяете категории и решаете, что делать с каждым ответом. Результат может автоматически направлять работу или помещать её в очередь на проверку, в зависимости от последствий ошибки.
Что поддерживается
API решений (Decisions API) принимает текст и набор вопросов через POST /v1/systemone. Вопросы могут требовать выбора из именованных вариантов, оценки того, верно ли утверждение, или определения уровня по шкале. Ответ группирует результаты по именам вопросов, которые вы предоставили.
Текущая галерея включает Laya, GLiNER2.5-Decide, Tev1 в размерах 0.8B и 4B, kev 0.8B, Nimble 9B и CLM v0.1 8B. Используйте актуальную сборку master и альфа-бэкенд vllm-cpp для этих записей.
После установки бэкенда и модели на ваш компьютер, вывод выполняется локально. Установка загружает необходимые файлы. Локальное выполнение не отменяет необходимость контроля доступа или проверки настроек логирования и трассировки вашего сервера.
Оценки не являются гарантированными вероятностями или калиброванными мерами правильности. Протестируйте свои категории на репрезентативных примерах и сохраните проверку человеком для важных решений, включая модерацию.
Начало работы
В разделе Models → Explore найдите и установите laya-vllm-cpp. Дождитесь завершения установки. В руководстве по Decisions API перечислены другие идентификаторы галереи, требования к памяти, лимиты запросов и специфические различия моделей.
Если включена аутентификация, установите LOCALAI_API_KEY для пользователя, у которого активирована функция принятия решений. В противном случае опустите заголовок Authorization. Отправляйте только тот текст, который вы уполномочены обрабатывать.
В этом примере задается вопрос, какая модель должна получить запрос:
Считайте выбранный вариант из answers.route.choice. Этот вызов классифицирует текст; ваше приложение должно отправить исходный запрос выбранной модели. Добавьте еще один именованный вопрос, если вам нужна отдельная оценка того же текста. Начните с небольшого теста, чтобы самостоятельно проверить каждый ответ.
