Агенты работают в цикле: LLM решает, что делать, инструмент выполняет действие, модель оценивает результаты, а затем цикл продолжается до тех пор, пока задача не будет выполнена.

Изначально агентов и LLM было сложно интегрировать в программные приложения, которые зависят от структурированных данных и предсказуемых интерфейсов. Появились два примитива, которые значительно упростили этот процесс:

Вызов инструментов позволяет моделям делать структурированные запросы и получать структурированные результаты.
Структурированные выходные данные позволяют моделям возвращать реструктурированные результаты.

Но даже с ними цикл агента остается медленным и дорогостоящим: каждое решение требует нового вызова модели.

Представляем Jev. Jev — это новая модель, выпущенная TypeSafe AI. Компания сообщает о повышении скорости вывода до 200 раз и снижении затрат до 400 раз по сравнению с сопоставимыми LLM при выполнении задач классификации.

В этой статье рассказывается о том, как работает Jev, какое место она занимает в цикле агента и как использовать ее с LangChain.

Все о Jev

Jev на самом деле не является традиционной LLM, она не генерирует текст. Это то, что команда TypeSafe AI называет моделью System One:

📖 Модели System One — это класс моделей ИИ, созданных для принятия быстрых, структурированных решений, которые могут быть напрямую использованы программным обеспечением. Модель System One оценивает state и возвращает типизированные ответы и вероятности.

Она обучена с использованием обучения с подкреплением для калиброванных решений (RLCD). Ваш код использует эти результаты, чтобы направлять дальнейшие действия агента, без необходимости полного вызова чат-LLM для каждого решения.

Чтобы вызвать модель Jev, вы отправляете ей состояние (контекст) и вопросы об этом состоянии. Вот версия примера с тикетом поддержки из их документации с одним вопросом:

Пример из документации дает такой ответ об уровне срочности, показанный здесь без остальной части ответа:

Это 99,9% вероятности того, что сообщение является срочным, что ваше приложение может использовать для приоритизации тикета.

Существует три типа поддерживаемых вопросов:

Choice (Выбор): выбор из набора вариантов. Возвращает вероятность для каждого варианта и общую оценку достоверности.
Score (Оценка): оценка входных данных по упорядоченным уровням, таким как низкий, средний и высокий. Возвращает непрерывную оценку, базовое распределение и значение достоверности.
Noul: ответ на вопрос «да» или «нет». Возвращает вероятность того, что утверждение истинно.

Одной из ключевых особенностей является то, что вы можете задать несколько вопросов об одном и том же состоянии в одном запросе.

💡 Модели System One оценивают каждый вопрос в запросе параллельно. Добавление вопросов почти не меняет время отклика и стоит только токенов для дополнительных вопросов, которые стоят дешево.

Пример того, как задать несколько вопросов о тикете поддержки, см. в руководстве по быстрому старту TypeSafe.

В итоге, в отличие от традиционных LLM, Jev не ограничена генерацией текста или последовательным принятием решений!

Как использовать Jev с LangChain

Агностическая по отношению к провайдерам модель LangChain хорошо подходит для поддержки Jev наряду с тысячами других интеграций и провайдеров моделей.

Интеграция LangChain предоставляет доступ к Jev через TypeSafeClassifier. Вы передаете свое состояние и вопросы в .invoke() и получаете результаты классификации вместо ответа чата.

Установите langchain-typesafe и задайте TYPESAFE_API_KEY, затем сделайте вызов:

Состоянием может быть текст, структурированные данные или сообщения LangChain. Это позволяет легко вызывать Jev из узла или промежуточного ПО (middleware), используя контекст, который уже есть у вашего агента.

Вы можете встроить это в пользовательское промежуточное ПО или инструменты!

Варианты использования

Jev — это не прямая замена LLM. Она не генерирует текст, но может обрабатывать задачи классификации, для которых мы сегодня часто используем LLM, без тех же задержек и затрат. Это делает ее многообещающим дополнением к модели, управляющей вашим агентом: используйте LLM для рассуждений и генерации с открытым финалом, а Jev — для быстрых, структурированных решений в процессе работы.

Маршрутизация моделей

Для простого поиска не нужна та же модель, что и для сложной задачи отладки. Промежуточное ПО для маршрутизации моделей позволяет Jev оценить запрос и выбрать модель на основе заданных вами критериев, что обеспечивает быстроту и низкую стоимость для простых задач и большую функциональность для сложных.

Маршрутизатор выбирает модель на основе последнего сообщения пользователя и использует ее на протяжении всего выполнения. Вероятности и достоверность также остаются доступными в состоянии агента.

Автоматический режим (Auto Mode)

Агенты по своей сути все еще ненадежны. Агент может получить плохие инструкции (естественным образом или от достаточно мотивированного злоумышленника), которые могут убедить его совершить действия, которые мы не планировали.

Инструменты разработки, такие как claude, codex, cursor, внедрили способы классификации опасных действий до их совершения, что постепенно помогло укрепить доверие к агентам. До сих пор этот этап классификатора был скрыт в закрытых частях этих инструментов.

Теперь, когда существует дешевая и производительная модель-классификатор, мы можем взять тот же шаблон и применить его ко всем агентам!

AutoModeMiddleware использует Jev для проверки вызовов инструментов на предмет рискованных решений, которые они могут принять, и блокирует вызовы до выполнения инструмента.

Начните работу!

Мы очень воодушевлены Jev и возможностями, которые она открывает. Вот несколько интересных проектов, которые мы уже видели: Кайл Чонг из Browserbase использует ее для работы агентов в браузере за доли цента, Джаррод Уоттс создал агента для торговли в реальном времени, а Райан Фогель занимается сортировкой электронной почты в масштабе.

Новые модели появляются каждую неделю, но эта вызвала довольно большой резонанс. Мы с нетерпением ждем того, что вы создадите с помощью LangChain и Jev.

Дайте нам знать, что вы думаете на форуме, отметьте нас в X и поделитесь тем, что вы создаете, или участвуйте в обсуждении проблем LangChain!