На прошлой неделе TypeSafe AI выпустила Jev — модель нового типа. В отличие от традиционных языковых моделей (LLM), Jev не генерирует текст. Она принимает решения, с которыми ваш код может работать напрямую. Это то, что TypeSafe называет ПО на базе ИИ, где «код управляет рабочим процессом, а ИИ обрабатывает узкие, структурированные решения». Свою философию TypeSafe формулирует так: создавать «рабочие продукты, а не божества».
По мере того как передовые LLM становились все более мощными, мы начали относиться к ним как к божествам, обращаясь к ним для любых задач с нечеткими входными данными: генерации текстов, извлечения документов, поиска, ранжирования, исследований, классификации и многого другого. К сожалению, божество обходится дорого и работает медленно. Вы платите за эту универсальность при каждом вызове, даже когда вам нужен был всего лишь ответ «да» или «нет».
Именно поэтому запуск Jev привлек столько внимания. В узких задачах принятия решений, таких как маршрутизация и классификация, на которых строится работа многих агентов, бенчмарки TypeSafe показывают, что Jev работает до ведущих LLM.
Для нас в LangChain подход TypeSafe показался почти ностальгическим.Наша миссия — сделать агентов полезными и повсеместными, и наша экосистема с открытым исходным кодом развивалась вместе с ландшафтом моделей, но на каждом шаге мы возвращались к одним и тем же двум вопросам: как заставить модели принимать полезные решения и как надежно реализовывать эти решения?
LangGraph — наш ответ на оба этих вопроса. Мы создали его на основе опыта, полученного при помощи тысячам компаний во внедрении ИИ в производственную среду, и он позволяет объединять решения на основе моделей с детерминированным кодом в надежные и наблюдаемые системы. Jev дает таким системам более быстрый и дешевый способ принятия решений. В этой статье мы расскажем, как создавать «рабочие продукты, а не божества» с помощью Jev и LangGraph.
Jev для принятия решений
Jev забирает из набора возможностей передовой LLM одну — суждение — и делает ее примитивом, стоимость которого слишком мала для измерения. Это то, что TypeSafe называет моделью первого системного уровня или, чаще, моделью принятия решений. Вы передаете ей состояние и набор вопросов, а она возвращает типизированные ответы с вероятностями.
В документации TypeSafe выделяются три способа создания программного обеспечения. Традиционное ПО состоит из явной логики, где каждая ветка написана вручную и поддается аудиту, но в результате оказывается жесткой. Агенты пошли по другому пути: одна модель управляет решениями на каждом шаге, а поток управления переходит из кода в промпты. ПО на базе ИИ выбирает срединный путь. Код сохраняет структуру и выполняет точные вычисления, а модель располагается только в тех ветках, которые нуждаются в семантической оценке.
Несколько свойств помогают Jev соответствовать требованиям компонента для промышленного ПО:
- Структурированность: ответы возвращаются в виде типизированных данных с вероятностями, поэтому код может предсказуемо ветвиться на основе результатов
- Параллельность: вы можете задать множество вопросов об одном и том же состоянии одновременно
- Быстродействие: решения стоят достаточно дешево, чтобы принимать множество из них за один запуск
- Самосогласованность: система первого уровня разработана так, чтобы возвращать стабильные ответы при многократных оценках.
💡 Согласованность Jev — долгожданное изменение по сравнению с недетерминированностью LLM. Задайте LLM один и тот же вопрос при разных запусках, и вы можете получить разные ответы. Jev разработана так, чтобы возвращать один и тот же ответ для одних и тех же входных данных. В ходе раннего эксперимента с Jev в роли судьи ее оценки почти не менялись за 100 повторных запусков, что намного стабильнее любого протестированного нами судьи на базе LLM.
Например, это видео помогает визуализировать, чем Jev работает иначе, чем LLM. Задача здесь заключается в определении того, содержит ли входной документ различные типы персональных данных (PII):
Реальные приложения принимают множество решений, каждое из которых сложным образом зависит от предыдущих выборов. Когда решения становятся настолько дешевыми, главной задачей становится их оркестрация, и именно для этого создан LangGraph.
LangGraph для оркестрации
Мы годами помогаем командам создавать системы на базе LLM, и практически каждая из них сталкивается с двумя одинаковыми проблемами:
- Управлять контекстом сложно. Чтобы модель приняла правильное решение, ее окно контекста должно содержать «ровно ту информацию, которая нужна для следующего шага». Эта информация является нечеткой и меняется по мере работы приложения.
- Системы на базе моделей все равно должны быть надежными. Они должны справляться сбоями, поддерживать вмешательство человека и обеспечивать наблюдаемость каждого шага.
Существующие фреймворки решали часть этих проблем, но ни один из них не решал обе без ограничения возможностей разработчиков. Поэтому мы создали LangGraph. Сейчас его скачивают более 60 миллионов раз в месяц, и его используют многие компании из списка Fortune 50, создающие решения на базе ИИ.
Состояние как контекст
Приложение на LangGraph состоит из трех элементов. Узлы — это единицы работы: простой код, вызов модели, вызов инструмента или целый подграф. Состояние — это информация, которую узлы читают и обновляют. Ребра определяют, какой узел запускается следующим — либо по фиксированному пути, либо динамически на основе текущего состояния.
Любой граф также может быть узлом в более крупном графе, поэтому небольшие протестированные компоненты объединяются в более крупные системы. Манифест TypeSafe делает ту же ставку на интеллект: именно небольшие, понятные примитивы позволяют сложным системам оставаться надежными.
По мере работы графа результаты каждого шага накапливаются в состоянии. Это состояние становится контекстом для каждого последующего шага, а также определяет, какие узлы запускаются дальше.
Вместо того чтобы упаковывать доменные знания в промпты, вы закладываете их в топологию графа: какие решения принимаются, в каком порядке и какое состояние видит каждое из них. Именно так ПО начинает ветвиться на основе намерений и здравого смысла, как выражаются в TypeSafe. Суждение исходит от модели, но поток управления остается в коде, который можно проверить и протестировать.
Надежная среда выполнения
Как утверждается в манифесте TypeSafe, вы позволяете компоненту работать без присмотра только тогда, когда он надежен, и строите что-то на его основе только тогда, когда его можно проверить, протестировать и ограничить. LangGraph управляет этим на уровне среды выполнения:
- Надежное выполнение: шаги на базе моделей недетерминированы, поэтому одни и те же входные данные могут привести модель к другому вызову и отправить выполнение по другому пути. Перезапуск с нуля после сбоя хуже, чем просто медленная работа, поскольку повторный запуск может не повторить тот же путь. Контрольные точки сохраняют состояние на каждом шаге, поэтому аварийно завершенный запуск возобновляется с уже принятыми решениями
- Человек в контуре: когда шаг требует проверки перед тем, как система совершит действие, прерывания позволяют приостановить процесс, подтвердить его и продолжить с того места, где вы остановились
- Наблюдаемость: шаг на базе модели ведет себя по-разному при каждом запуске, поэтому вам нужны трассировки в LangSmith, чтобы видеть, что и почему было решено
Ничто из этого не привязано исключительно к LLM. Jev по-прежнему принимает неструктурированный текстовый контекст и возвращает суждение, поэтому ему требуются те же гарантии, и граф предоставляет их каждому узлу автоматически.
Пример: проверка документов для судебного процесса
В ходе судебного разбирательства компания обязана проверить каждую страницу перед передачей документов противоположной стороне, и одно дело может насчитывать сотни тысяч страниц. Большая часть этой проверки представляет собой одинаковые ограниченные суждения, выполняемые снова и снова, что делает ее идеальной задачей для Jev.
Для каждой страницы Jev отвечает на три вопроса в рамках одного запроса, и каждый ответ соотносится с определенным маршрутом в графе:
- Относится ли эта страница к предмету запроса? Если нет, она откладывается в сторону.
- Содержит ли она персональные данные? Если да, то LLM выполняет маскирование PII.
- Может ли документ быть конфиденциальным? Если да, он направляется в attorney_review, что приостанавливает выполнение графа для проверки человеком (human-in-the-loop).
Все остальное готово к передаче. Вот краткая демонстрация процесса (на практике страницы обрабатываются параллельно):
Jev выполняет каждую классификацию, а граф передает задачу на более высокий уровень только тогда, когда странице требуется нечто большее: LLM для редaкции или адвокат для оценки конфиденциальности.
Мы запустили тот же граф, где Jev отвечал за классификацию, а Sonnet выступал в роли арбитра, и в ходе испытаний Jev справился с этапом классификации в 5–6 раз быстрее. Оба запуска отслеживаются в LangSmith, поэтому вы можете открыть любую страницу и увидеть, по какому маршруту она прошла и какие за этим стояли вероятности. В LangSmith также есть специальные представления для моделей принятия решений вроде Jev, которые показывают входные данные и откалиброванные результаты для каждого решения:
Это великое разделение интеллекта
Последние три года большинство агентов перенаправляли все запросы через одну передовую LLM. Джая Гупта называет то, что будет дальше, «великим разделением интеллекта»: эти возможности разъединяются, и каждая передается самой дешевой модели, способной с ней справиться. Jev выделяет функцию суждения, возвращая структурированные решения вместо сгенерированного текста. Когда части разделены, что-то должно связать их обратно, маршрутизируя каждый шаг и определяя, когда следует эскалировать задачу. Это задача среды выполнения.
Браузерная автоматизация показывает, как это выглядит на практике. Браузерный агент читает страницу и решает, что делать дальше: нажать кнопку, заполнить поле, прокрутить страницу. Это звучит как задача с открытым концом, но в любой момент времени страница предлагает лишь ограниченный набор интерактивных элементов, поэтому следующее действие на самом деле является выбором из списка.
Browserbase перестроила функцию act() в Stagehand вокруг этой идеи. Stagehand отмечает интерактивные элементы на странице, Jev выбирает тип действия и лучший целевой элемент, а все, что ниже порога уверенности 0.7, передается в LLM в качестве запасного варианта. В ходе раннего тестирования медианная задержка act() снизилась с 1.97 секунды до 0.46 секунды, то есть стала примерно в 4.3 раза быстрее.
Jev не заменяет полностью LLM для большинства сценариев использования. Он обрабатывает ограниченные варианты выбора, в которых уверен, а все остальное передает в LLM. Это то изменение, которое Гупта описывает как переход от «передовой модели по умолчанию с последующей оптимизацией» к «дешевой модели по умолчанию с передовой моделью для исключений». Мы ожидаем увидеть больше подобных паттернов: модели принятия решений делают быстрые и дешевые вызовы везде, где пространство действий ограничено, в то время как LLM зарезервирована для рассуждений с открытым концом и случаев, в которых меньшая модель не уверена.
Разработчики уже движутся в этом направлении. Как сказал нам один из них на этой неделе: «Я по сути преобразую каждый имеющийся у нас агент в рабочий процесс на базе Jev».
С чего начать
- Узнайте, как работает среда выполнения LangGraph, из статьи «3 years of graph engineering with LangGraph»
- Узнайте, как Jev встраивается в инфраструктуру агента, включая маршрутизацию моделей и классификаторы автоматического режима, в статье «Building a harness with Jev»
- Мониторьте и оценивайте своих агентов с помощью LangSmith
Благодарности
Авторы: Сидни Ранкл (Sydney Runkle) и Хантер Лавелл (Hunter Lovell).
Спасибо Кевину Франку, Харрисону Чейзу, Евгению Юрцеву и Натану Дрезнеру за их рецензии и мысли.
