Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Zapusk modeley prinyatiya resheniy v localai
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Запуск моделей принятия решений в LocalAI

Источник: LocalAI•2 октября 2026 г. в 19:45

Запуск моделей принятия решений в LocalAI

LocalAI — это AI-движок с открытым исходным кодом. Запускайте любые модели: LLM, визуальные, голосовые, графические и видео — на любом оборудовании. GPU не требуется.

LocalAI теперь поддерживает модели принятия решений в стиле Jev, которые отвечают на именованные вопросы о тексте и возвращают структурированные результаты. Вы можете выбрать категорию, оценить утверждение или присвоить уровень по шкале, задав несколько вопросов в одном запросе.

Это полезно, когда вашему приложению требуется решение, а не текстовый ответ. Вы предоставляете текст и описываете варианты выбора. Ваше приложение считывает ответы по имени вопроса, не извлекая метку из чат-ответа.

Например, система поддержки может выбрать очередь для входящего тикета и отдельно проверить, просит ли клиент об отмене. Рабочий процесс модерации может пометить комментарий для проверки и назначить уровень срочности. Селектор моделей может классифицировать запрос как перевод, код или общую помощь перед отправкой его в подходящую модель.

Это шаблоны приложений, а не встроенные рабочие процессы. Вы сами определяете категории и решаете, что делать с каждым ответом. Результат может автоматически направлять работу или помещать её в очередь на проверку, в зависимости от последствий ошибки.

Что поддерживается

API решений (Decisions API) принимает текст и набор вопросов через POST /v1/systemone. Вопросы могут требовать выбора из именованных вариантов, оценки того, верно ли утверждение, или определения уровня по шкале. Ответ группирует результаты по именам вопросов, которые вы предоставили.

Текущая галерея включает Laya, GLiNER2.5-Decide, Tev1 в размерах 0.8B и 4B, kev 0.8B, Nimble 9B и CLM v0.1 8B. Используйте актуальную сборку master и альфа-бэкенд vllm-cpp для этих записей.

После установки бэкенда и модели на ваш компьютер, вывод выполняется локально. Установка загружает необходимые файлы. Локальное выполнение не отменяет необходимость контроля доступа или проверки настроек логирования и трассировки вашего сервера.

Оценки не являются гарантированными вероятностями или калиброванными мерами правильности. Протестируйте свои категории на репрезентативных примерах и сохраните проверку человеком для важных решений, включая модерацию.

Начало работы

В разделе Models → Explore найдите и установите laya-vllm-cpp. Дождитесь завершения установки. В руководстве по Decisions API перечислены другие идентификаторы галереи, требования к памяти, лимиты запросов и специфические различия моделей.

Если включена аутентификация, установите LOCALAI_API_KEY для пользователя, у которого активирована функция принятия решений. В противном случае опустите заголовок Authorization. Отправляйте только тот текст, который вы уполномочены обрабатывать.

В этом примере задается вопрос, какая модель должна получить запрос:

Считайте выбранный вариант из answers.route.choice. Этот вызов классифицирует текст; ваше приложение должно отправить исходный запрос выбранной модели. Добавьте еще один именованный вопрос, если вам нужна отдельная оценка того же текста. Начните с небольшого теста, чтобы самостоятельно проверить каждый ответ.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
5 стратегий ценообразования, которые превращают бесплатных подписчиков в платных студентов
Teachable

5 стратегий ценообразования, которые превращают бесплатных подписчиков в платных студентов

Friday Five — 13 ноября 2026 г.
Red Hat

Friday Five — 13 ноября 2026 г.

Отличные данные оценивания начинаются с отличных оценок
Powerschool

Отличные данные оценивания начинаются с отличных оценок

6 лучших альтернатив Constant Contact в 2026 году
Activecampaign

6 лучших альтернатив Constant Contact в 2026 году

5 лучших альтернатив Brevo в 2026 году
Activecampaign

5 лучших альтернатив Brevo в 2026 году

Общенациональная остановка полетов последовала за обновлением подрядчиком телекоммуникационной системы L3Harris: заявил министр транспорта США ДаффиПресса
L3Harris

Общенациональная остановка полетов последовала за обновлением подрядчиком телекоммуникационной системы L3Harris: заявил министр транспорта США Даффи

Ещё от LocalAI

parakeet.cpp: тот же транскрипт NeMo, но без Python
LocalAI

parakeet.cpp: тот же транскрипт NeMo, но без Python

Почему мы пишем собственные движки на C и C++
LocalAI

Почему мы пишем собственные движки на C и C++

LocalAI, с марта 2023 года по настоящее время
LocalAI

LocalAI, с марта 2023 года по настоящее время

Что нового в LocalAI 4.8
LocalAI

Что нового в LocalAI 4.8

Что нового в LocalAI 4.9
LocalAI

Что нового в LocalAI 4.9

LocalAI: с марта 2023 года по настоящее время
LocalAI

LocalAI: с марта 2023 года по настоящее время