Jev — это новый тип модели искусственного интеллекта, предназначенный не для генерации языка, а для принятия быстрых и структурированных решений. Хуан Сесар Ховер Санс-Пастор (Juan César Jover Sanz-Pastor), инженер по AIOps в Sopra Steria Spain, рассматривает перспективы внедрения специализированных моделей в формирующийся стек искусственного интеллекта.

Генеративный ИИ приучил нас ожидать от машин разговорчивости. Мы задаем вопрос и получаем ответ. Те же самые модели могут составлять отчеты, писать код, суммировать документы и поддерживать вполне убедительную беседу.

Но большая часть программного обеспечения, лежащего в основе повседневных сервисов, не нуждается в диалоге. Ему нужно быстро принимать небольшие решения. Обращение, поступающее в центр обслуживания клиентов, должно быть направлено в отдел выставления счетов, технической поддержки или отмен. Банк должен решить, следует ли пропустить необычную транзакцию, отправить ее на проверку или заблокировать. Ни одна из этих задач не требует красноречивого ответа. Программе нужен выбор, на основе которого можно действовать.

Jev создан именно для такой работы. Разработанный компанией TypeSafe AI, основанной Диого Алмейдой (Diogo Almedia), он является первой моделью в категории, которую компания называет System One Models (модели первой системы). Вместо того чтобы производить текст, Jev получает информацию, оценивает ее и возвращает структурированное решение, которое может использовать другая часть программного обеспечения.

Предсказуемость, а не непогрешимость

Компании автоматизируют принятие решений уже не первое десятилетие. Системы на основе правил и статистические классификаторы работают хорошо, когда входные данные чисты, а возможные варианты понятны. Однако человеческий язык редко бывает чистым. Люди совершают ошибки, упускают детали, используют двусмысленные выражения и описывают одну и ту же проблему по-разному.

Большие языковые модели справляются с таким разнообразием гораздо лучше, но они создавались для генерации текста. Современные платформы на базе LLM стали значительно лучше справляться со структурированным выводом, поэтому данную проблему едва ли можно назвать нерешенной. Тем не менее есть что-то слегка окольное в использовании модели, предназначенной для генерации текста, когда приложению нужно лишь выбрать один из четырех отделов.

Jev подходит к задаче более прямолинейно. Разработчик может предоставить сообщение клиента и заранее определить доступные варианты ответов: выставление счетов, техническая поддержка, отмены или другое. Jev оценивает сообщение и делает выбор в рамках этого набора.

Ограничение распространяется на формат ответа, а не на его правильность. Jev все же может направить запрос о выставлении счетов в техническую поддержку. Чего он не может сделать, так это вернуть неожиданный абзац, когда приложение ждет название отдела. Jev не сделал ИИ детерминированным. Он сделал возможные результаты предсказуемыми.

Он может выбрать из предопределенного списка, расположить что-либо по шкале или вернуть вероятность для вопроса «да-нет». Информация об уверенности может сопровождаться результатом, поэтому сомнительные случаи можно обрабатывать иначе. Рутинный запрос может обрабатываться автоматически, в то время как двусмысленный может быть перенаправлен более крупной модели или человеку.

Уверенность остается оценкой, а не гарантией. Ее необходимо проверять на реальных примерах из среды, в которой будет работать модель. Полезность заключается в том, что разработчикам становится проще управлять этой неопределенностью.

Экономика мелких решений

Скорость и стоимость — это другие аргументы в пользу модели. Генеративная модель выдает ответ токен за токеном. Jev не пишет пояснений и не генерирует блок JSON для синтаксического анализа и проверки. Он возвращает результат напрямую.

TypeSafe сообщает, что время отклика для предполагаемых рабочих нагрузок составляет от десятков до сотен миллисекунд, хотя эти цифры исходят от провайдера, а реальная производительность будет зависеть от входных данных, инфраструктуры и сети. Ценообразование подчиняется той же логике: компания берет плату за информацию, отправленную в Jev, в то время как структурированный вывод не имеет дополнительных затрат.

Экономия доли цента на одном решении кажется незначительной. В масштабах нескольких миллионов это становится более существенным, особенно если многие запросы в противном случае ушли бы гораздо более крупной модели.

Регулировщик для ИИ

ИИ-агенты служат хорошим примером. Агент принимает множество мелких решений при выполнении задачи: выбор инструмента, повторная попытка после неудачного шага, оценка рисков, отбрасывание нерелевантного контекста или принятие решения о том, требует ли проблема более мощной модели.

Крупные генеративные модели справляются со многими из этих выборов, потому что они универсальны и уже являются частью системы. Они могут справиться с этой задачей, но это не делает их лучшим компонентом для каждого решения. Поручать дорогой передовой модели рутинную маршрутизацию — это все равно что просить нейрохирурга сидеть на ресепшене и направлять посетителей на нужный этаж. Вероятно, они доберутся туда, куда нужно. Но это все равно странное использование нейрохирурга.

На мой взгляд, это самый веский аргумент в пользу Jev. Его ценность может заключаться в определении того, когда действительно нужны GPT, Claude, Gemini или другая генеративная модель.

Более разделенный ИИ

Индустрия склонна рассматривать большую языковую модель как центр всего. Она пишет, классифицирует, планирует, вызывает инструменты, проверяет результаты и выбирает следующий шаг. Для этого есть веские причины. С одной мощной моделью общего назначения проще экспериментировать, чем с полудюжиной специализированных компонентов.

Однако в масштабе такое удобство становится дорогостоящим. Оно также концентрирует генерацию, рассуждения, маршрутизацию и выполнение в одном и том же компоненте. Jev предлагает более разделенную архитектуру: быстрые модели обрабатывают узкие, повторяющиеся задачи, в то время как более крупные модели зарезервированы для сложных рассуждений, написания кода, объяснений, открытого анализа или случаев, когда возможные ответы не могут быть определены заранее.

Станет ли сам Jev широко распространенным — открытый вопрос. Он нов, и компаниям придется протестировать его оценки уверенности на собственных данных. Добавление еще одной модели и провайдера также влечет за собой сложность и еще одну потенциальную точку отказа. Более низкие затраты на вывод не означают автоматически более простую систему.

Даже с учетом этих оговорок лежащая в основе идея имеет смысл. Системы ИИ могут работать лучше как набор специализированных компонентов, а не за счет опоры на единую, все более мощную модель на каждом шаге.

В такой схеме Jev не станет мозгом системы. Его роль будет более скромной, хотя, возможно, не менее важной: решать, какой именно мозг должен справиться со следующей проблемой.