Создание производственных агентов с помощью Jev и LangGraph

На прошлой неделе TypeSafe AI выпустила Jev, новый тип модели. В отличие от традиционных LLM, Jev не генерирует текст. Она принимает решения, на основе которых ваш код может действовать напрямую. Это то, что TypeSafe называет программным обеспечением на базе ИИ, где «код владеет рабочим процессом, а ИИ обрабатывает узкие, структурированные решения». TypeSafe резюмирует свою философию как создание «продукта, а не бога».

По мере того как передовые LLM становились все более функциональными, мы начали относиться к ним как к богу, обращаясь к ним для любой задачи с нечеткими входными данными: генерация прозы, извлечение данных из документов, поиск, ранжирование, исследования, классификация и многое другое. К сожалению, бог — это дорого и медленно. Вы платите за эту универсальность при каждом вызове, даже если вам нужно было просто «да» или «нет».

Вот почему запуск Jev привлек столько внимания. В узких задачах принятия решений, таких как маршрутизация и классификация, вокруг которых строится множество агентов, бенчмарки TypeSafe показывают, что Jev работает до 200 раз быстрее и до 400 раз дешевле, чем ведущие LLM.

Подход TypeSafe показался нам в LangChain почти ностальгическим. Наша миссия — сделать агентов полезными и повсеместными, и наша экосистема с открытым исходным кодом развивалась вместе с ландшафтом моделей, но на каждом этапе мы возвращались к одним и тем же двум вопросам: как заставить модели принимать полезные решения и как надежно действовать на основе этих решений?

LangGraph — это наш ответ на оба вопроса. Мы создали его на основе опыта, полученного при помощи тысячам компаний в выводе ИИ в продакшн, и он позволяет вам сочетать решения, управляемые моделями, с детерминированным кодом в системах, которые являются надежными и наблюдаемыми. Jev дает таким системам более быстрый и дешевый способ принятия решений. В этом посте мы расскажем, как создавать «продукт, а не бога» с помощью Jev и LangGraph.

Jev для принятия решений

Jev берет одну возможность из набора функций передовых LLM — суждение — и делает ее примитивом, который слишком дешев, чтобы его измерять. Это то, что TypeSafe называет моделью первой системы, или, чаще, моделью принятия решений. Вы предоставляете ей состояние и набор вопросов, а она возвращает типизированные ответы с вероятностями.

Документация TypeSafe описывает три способа создания программного обеспечения. Традиционное ПО состоит из явной логики, где каждая ветка прописана вручную и поддается аудиту, но в результате является жесткой. Агенты пошли по другому пути: одна модель жонглирует решениями на каждом шаге, а поток управления перемещается из кода в промпты. Программное обеспечение на базе ИИ выбирает средний путь. Код сохраняет структуру и выполняет точные вычисления, а модель находится только в тех ветках, которые требуют семантического суждения.

Несколько свойств помогают Jev квалифицироваться как компонент производственных систем:

• Структурированность: ответы возвращаются в виде типизированных данных с вероятностями, поэтому код может предсказуемо ветвиться на основе результатов.
• Параллельность: вы можете задать много вопросов об одном и том же состоянии одновременно.
• Скорость: решения достаточно дешевы, чтобы принимать их множество раз за один запуск.
• Самосогласованность: первая система разработана для возврата стабильных ответов при повторных оценках.

💡 Согласованность Jev — это долгожданное изменение по сравнению с недетерминизмом LLM. Задайте LLM один и тот же вопрос в разных запусках, и вы можете получить разные ответы. Jev спроектирован так, чтобы возвращать один и тот же ответ на один и тот же ввод. В раннем эксперименте «Jev как судья» его оценки почти не менялись на протяжении 100 повторных запусков, что гораздо лучше, чем у любого судьи на базе LLM, которого мы тестировали.

Например, это видео помогает визуализировать, как Jev работает иначе, чем LLM. Задача здесь — определить, содержит ли входной текст различные типы персональных данных (PII):

Реальные приложения принимают множество решений, каждое из которых сложным образом зависит от предыдущих выборов. Как только решения становятся такими дешевыми, задача заключается в их оркестрации, и именно для этого нужен LangGraph.

LangGraph для оркестрации

Мы годами помогаем командам создавать системы на базе LLM, и почти каждая из них сталкивается с двумя одними и теми же проблемами:

• Управление контекстом — это сложно. Чтобы модель приняла правильное решение, ее контекстное окно должно содержать «ровно ту информацию, которая нужна для следующего шага». Эта информация нечеткая, и она меняется по мере работы приложения.
• Системы, управляемые моделями, все равно должны быть надежными. Они должны выдерживать сбои, поддерживать вмешательство человека и делать каждый шаг наблюдаемым.

Существующие фреймворки решали части этих проблем, но ни один не решал обе, не ограничивая способы разработки. Поэтому мы создали LangGraph. Сейчас его скачивают более 60 миллионов раз в месяц, и его используют многие компании из списка Fortune 50, создающие решения на базе ИИ.

Состояние как контекст

Приложение на LangGraph строится из трех частей. Узлы — это единицы работы: обычный код, вызов модели, вызов инструмента или целый подграф. Состояние — это информация, которую узлы читают и обновляют. Ребра определяют, какой узел будет запущен следующим, либо по фиксированному пути, либо динамически на основе текущего состояния.

Любой граф также может быть узлом в большем графе, поэтому небольшие, протестированные части объединяются в более крупные системы. Манифест TypeSafe делает ту же ставку на интеллект: маленькие, понятные примитивы — это то, что позволяет сложным системам оставаться заслуживающими доверия.

По мере работы графа результаты каждого шага накапливаются в состоянии. Это состояние становится контекстом для каждого последующего шага, а также определяет, какие узлы будут запущены дальше.

Вместо того чтобы упаковывать предметные знания в промпты, вы кодируете их в топологии графа: какие решения принимаются, в каком порядке и какое состояние видит каждое из них. Именно так программное обеспечение начинает ветвиться на основе намерений и здравого смысла, как выражается TypeSafe. Суждение исходит от модели, но поток остается в коде, который вы можете проверить и протестировать.

Надежная среда выполнения

Как утверждает манифест TypeSafe, вы позволяете компоненту работать без присмотра только тогда, когда он надежен, и строите на его основе только тогда, когда можете его осмотреть, протестировать и ограничить. LangGraph справляется с этим в среде выполнения:

• Долговечное выполнение: шаги, управляемые моделями, недетерминированы, поэтому один и тот же ввод может привести модель к другому вызову и направить выполнение по другому пути. Перезапуск с нуля после сбоя хуже, чем просто медленно, так как повторный запуск может не повторить тот же путь. Контрольные точки сохраняют состояние на каждом шаге, поэтому неудачный запуск возобновляется с уже принятыми решениями.
• Человек в цикле: когда шаг требует проверки перед тем, как система начнет действовать, прерывания позволяют приостановить процесс, одобрить его и продолжить с того места, где вы остановились.
• Наблюдаемость: шаг, управляемый моделью, не делает одно и то же каждый раз, поэтому вам нужны трассировки в LangSmith, чтобы видеть, что было решено и почему.

Ничто из этого не является специфичным для LLM. Jev по-прежнему принимает неструктурированный текстовый контекст и возвращает суждение, поэтому ему нужны те же гарантии, и граф автоматически предоставляет их каждому узлу.

Пример: проверка документов для раскрытия информации

В судебных процессах компания должна просмотреть каждую страницу перед предоставлением (передачей) документов другой стороне, и одно дело может насчитывать сотни тысяч страниц. Большая часть этой проверки — это одно и то же ограниченное суждение, принимаемое снова и снова, что делает его естественным кандидатом для Jev.

Для каждой страницы Jev отвечает на три вопроса в одном запросе, и каждый ответ соответствует маршруту в графе:

• Является ли эта страница ответом на запрос? Если нет, она откладывается.
• Содержит ли она персональную информацию? Если да, LLM редактирует PII.
• Может ли это быть привилегированной информацией? Если да, то она отправляется на attorney_review, что приостанавливает работу графа для участия человека (human in the loop).

Все остальное готово к передаче. Вот краткая демонстрация процесса (на практике страницы обрабатываются параллельно):

Jev берет на себя всю классификацию, а граф переходит на следующий уровень только тогда, когда страница требует большего: к LLM для редактирования или к юристу для оценки привилегированности.

Мы запустили тот же граф, где Jev отвечал за классификацию, а Sonnet выступал в роли судьи, и Jev оказался в 5–6 раз быстрее на этапе классификации во всех тестах. Оба запуска отслеживаются в LangSmith, поэтому вы можете открыть любую страницу и увидеть, какой путь она прошла и какие вероятности стояли за этим решением. В LangSmith также есть специальные представления для моделей принятия решений, таких как Jev, которые показывают входные данные и откалиброванные выходные результаты для каждого решения:

Это великое расслоение интеллекта

Последние три года большинство агентов направляли все запросы через одну передовую LLM. Джая Гупта называет то, что ждет нас дальше, «великим расслоением интеллекта»: эти возможности разделяются, и каждая из них передается самой дешевой модели, способной с ней справиться. Jev берет на себя суждение, возвращая структурированные решения вместо сгенерированного текста. Как только части разделены, кто-то должен собрать их обратно, направляя каждый шаг и решая, когда нужно повысить уровень сложности. Это задача среды выполнения (runtime).

Автоматизация браузера показывает, как это выглядит на практике. Браузерный агент читает страницу и решает, что делать дальше: нажать кнопку, заполнить поле, прокрутить страницу. Это звучит как задача с открытым финалом, но в любой момент страница предлагает лишь ограниченный набор интерактивных элементов, поэтому следующее действие — это, по сути, выбор из списка.

Browserbase перестроила функцию act() в Stagehand вокруг этой идеи. Stagehand помечает интерактивные элементы на странице, Jev выбирает тип действия и наиболее подходящий элемент, а все, что ниже порога уверенности 0.7, передается обратно в LLM. В ходе раннего тестирования медианная задержка act() снизилась с 1.97 до 0.46 секунды, что примерно в 4.3 раза быстрее.

Jev не заменяет LLM полностью в большинстве случаев использования. Он обрабатывает ограниченные варианты выбора, в которых уверен, а все остальное передает LLM. Это тот самый сдвиг, который описывает Гупта: от подхода «передовая модель по умолчанию с последующей оптимизацией» к подходу «дешевая модель по умолчанию, передовая — в исключительных случаях». Мы ожидаем увидеть больше подобных паттернов: модели принятия решений, делающие быстрые и дешевые вызовы там, где пространство действий ограничено, и LLM, зарезервированная для рассуждений с открытым финалом и случаев, в которых меньшая модель не уверена.

Разработчики уже движутся в этом направлении. Как сказал нам один из них на этой неделе: «Я сейчас практически превращаю каждого нашего агента в рабочий процесс на базе Jev».

С чего начать

• Узнайте, как работает среда выполнения LangGraph, на основе 3-летнего опыта проектирования графов с LangGraph
• Посмотрите, как Jev вписывается в агентскую обвязку, включая маршрутизацию моделей и классификаторы автоматического режима, в статье «Создание обвязки с Jev»
• Отслеживайте и оценивайте своих агентов с помощью LangSmith

Благодарности

Авторы: Сидни Ранкл и Хантер Лавелл.

Спасибо Кевину Фрэнку, Харрисону Чейзу, Юджину Юрцеву и Натану Дрезнеру за их отзывы и идеи.