Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Novoe v llamacpp modeli prinyatiya resheniy
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Новое в llama.cpp: Модели принятия решений

Источник: wavymulder•3 октября 2026 г. в 16:30

Новое в llama.cpp: Модели принятия решений

Сервер llama.cpp теперь поддерживает модели принятия решений через эндпоинт /v1/systemone. Вы передаете состояние (текст, JSON, скриншот) и типизированные вопросы. Модель возвращает вероятность для каждого варианта за один проход вперед.

API следует формату System One, представленному в модели Jev от TypeSafe, поэтому существующим клиентам нужно лишь изменить базовый URL. Детали реализации приведены в PR #29818.

Что такое модель принятия решений? Это модель, которая отвечает путем оценки предоставленных вами вариантов, а не генерации текста. Чат-модель тратит один прямой проход на каждый токен вывода, и ее вывод все равно приходится парсить. Модель принятия решений считывает входные данные один раз, и ее ответом всегда является один из ваших вариантов с привязанной к нему вероятностью. Типичные варианты использования включают маршрутизацию запросов, модерацию контента, проверку успешности выполнения шага агента или выбор его следующего действия.

Что такое модель принятия решений? Это модель, которая отвечает путем оценки предоставленных вами вариантов, а не генерации текста. Чат-модель тратит один прямой проход на каждый токен вывода, и ее вывод все равно приходится парсить. Модель принятия решений считывает входные данные один раз, и ее ответом всегда является один из ваших вариантов с привязанной к нему вероятностью. Типичные варианты использования включают маршрутизацию запросов, модерацию контента, проверку успешности выполнения шага агента или выбор его следующего действия.

Поддерживаемые модели

*Медианное время ответа на один вопрос на одной видеокарте NVIDIA RTX PRO 6000.

Найдите эти модели в коллекции Decision models, в дальнейшем их станет больше. В сообществе Decision Index показано их сравнение.

Быстрый старт

Получите последнюю версию llama.cpp из llama.app (или запустите llama update), затем запустите модель:

Запрос содержит состояние и один или несколько вопросов. Существует три типа вопросов:

Отправьте запрос с вашим состоянием и вопросами:

Ответ (значения округлены):

Полная справочная информация находится в документации сервера.

Изображения

Некоторые модели (на момент написания статьи — OpenJev) также могут читать изображения, такие как документы или скриншоты. Визуальный проектор загружается автоматически:

Например, для классификации загруженного документа:

Состояние также может представлять собой список сообщений чата. Любая часть image_url (data URL) считывается как изображение, так же как и в чат-завершениях (chat completions).

Несколько моделей, один сервер

В режиме маршрутизатора модели загружаются по требованию, и вы выбираете одну для каждого запроса:

/v1/models выводит список идентификаторов. Если загружена только одна модель, поле model игнорируется.

Советы

  • Попробуйте несколько моделей разного размера. Маленькие модели работают быстрее, большие знают больше. В Decision Index приводится их сравнение.
  • Опишите свои варианты. Julia-1 направила запрос «С меня списали деньги дважды» в службу доставки при наличии только названий, и в биллинг (0.99), когда у каждого варианта появилось описание.
  • Выберите порог уверенности для каждой модели. Распространенный паттерн — обрабатывать уверенные ответы, а остальные отправлять человеку. Правильный порог зависит от модели: расплывчатый тикет («Привет, быстрый вопрос по поводу моего аккаунта») получил оценку 0.25 с Julia-1, но 0.80 с Kev-4B. Протестируйте на собственных примерах перед выбором.
  • Пакетная обработка вопросов. Они обрабатываются независимо друг от друга, а Kev-4B, lev и OpenJev обрабатывают состояние только один раз.
  • Попробуйте разные квантования. Как и любые GGUF, эти модели поставляются в нескольких вариантах точности, например: llama serve -hf ggml-org/Kev-4B-GGUF:Q8_0.

Что дальше

Новые открытые модели принятия решений выходят каждую неделю, и мы продолжим добавлять лучшие из них. На очереди Clef от Cloudflare. Есть ли модель, которую вы ждете особенно? Расскажите нам в комментариях.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Совершенствование проектирования чипов с помощью моделей OpenAI
OpenAI

Совершенствование проектирования чипов с помощью моделей OpenAI

180B параметров, 32 ГБ ОЗУ: выжимаем максимум из инференса MoE с помощью Transformers
Hugging Face

180B параметров, 32 ГБ ОЗУ: выжимаем максимум из инференса MoE с помощью Transformers

H2O.ai назначает Стивена Ваттуоне на должность финансового директора
H2O.ai

H2O.ai назначает Стивена Ваттуоне на должность финансового директора

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant
Qdrant

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ
AI2 (Allen Institute for AI)

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам
LangChain

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам

Ещё от wavymulder

Что такое Jev AI? Практическое руководство по System One и исполняемым решениям
wavymulder

Что такое Jev AI? Практическое руководство по System One и исполняемым решениям

Внедрение гуманоидов в LeRobot
wavymulder

Внедрение гуманоидов в LeRobot

YODAS v3: Набор данных объемом 1 миллион часов для исследований в области открытого голосового ИИ нового поколения
wavymulder

YODAS v3: Набор данных объемом 1 миллион часов для исследований в области открытого голосового ИИ нового поколения

Как использовать модель Jev AI: пошаговое руководство для разработчиков
wavymulder

Как использовать модель Jev AI: пошаговое руководство для разработчиков

Знайте, кто и когда говорил: создавайте ИИ для работы с несколькими спикерами в реальном времени с помощью NVIDIA Nemotron 3 Diarization
wavymulder

Знайте, кто и когда говорил: создавайте ИИ для работы с несколькими спикерами в реальном времени с помощью NVIDIA Nemotron 3 Diarization