Мы создали LangSmith Engine, чтобы ускорить исправление агентов, позволяя разработчикам тратить больше времени на создание новых функций и меньше времени на борьбу с багами.
Engine — это встроенный в платформу агент, который автоматизирует работу на каждом этапе жизненного цикла разработки агентов. Агенты отлично подходят для этой задачи. Они превосходно справляются с анализом больших наборов данных и написанием кода, что делает их незаменимыми для обнаружения скрытых проблем, написания исправлений и мониторинга регрессий.
С момента запуска в мае Engine проанализировал более 70 млн трассировок и диагностировал десятки тысяч проблем.
В сегодняшнем релизе v2 Engine берет на себя еще больше задач, помогая пользователям быстрее выпускать исправления и обнаруживать проблемы до того, как они появятся в продакшене. Engine v2:
- Проводит ред-теминг (red teaming) вашего агента для упреждающего обнаружения багов и проблем с промптами
- Обнаруживает более сложные для поиска проблемы, такие как неэффективность и тренды в частоте ошибок, задержках и стоимости
- Автоматически проверяет предложенные исправления перед их ручной проверкой и развертыванием
Что делает LangSmith Engine
Engine сканирует ваши производственные трассировки в поисках областей для улучшения: от ошибок до неудовлетворенных запросов пользователей. После выявления проблемы Engine классифицирует ее и группирует связанные трассировки в единую проблему. Каждая запись содержит всю информацию, необходимую пользователю для принятия мер: первопричину, предлагаемое исправление, эталонные примеры для ваших наборов данных оценки и непрерывный мониторинг.
Engine берет данные, собираемые LangSmith, и пускает их в дело, помогая быстрее проходить жизненный цикл разработки агентов (ADLC) для улучшения вашего агента.
В Engine v2 мы сфокусировались на улучшении двух ключевых задач: выявлении проблем и предложении исправлений.
Упреждающее обнаружение проблем агента
В Engine v2 мы представляем Red Teaming — наш инструмент упреждающего поиска и устранения неисправностей, позволяющий находить такие проблемы, как галлюцинации и нарушения системных промптов, до того, как они затронут пользователей в продакшене. Red Teaming анализирует производственные трассировки и репозитории вашего агента, чтобы понять его назначение и поведение, а затем использует этот контекст для тестирования уязвимостей и выявления проблем, которые еще не проявились в продакшене. Вы получаете список актуальных, проверенных проблем для устранения, которые предвосхищают будущие сбои, что позволяет предотвратить их.
Red Teaming уже сегодня доступен в режиме закрытого бета-тестирования для существующих пользователей LangSmith Deployment. Вы можете подать заявку на участие в бета-тестировании здесь.
Обнаружение более сложных проблем
Теперь Engine v2 может находить более сложные для обнаружения проблемы в производственных трассировках, которые часто ускользают от внимания людей, пока не начинают влиять на клиентов и счета за LLM. Даже когда ваш агент кажется работающим должным образом, небольшие увеличения задержки могут разочаровать пользователей, а неэффективные траектории агента тратят токены впустую.
Engine v2 отмечает эти проблемы, чтобы вы могли устранить их до того, как они повлияют на ваш бизнес.
- Неэффективная работа: Engine анализирует траектории агента, чтобы определить, идет ли агент по неэффективному пути для выполнения заданной задачи, например, совершает ли неправильный или повторяющийся вызов инструмента, и предлагает более эффективную альтернативу.
- Тренды производительности: Engine отслеживает тенденции в ключевых метриках, таких как частота ошибок, задержка и стоимость.
Каждая проблема отслеживается в одной очереди, поэтому у вас есть единое место для отслеживания и решения всех проблем с вашими агентами.
Выпуск предварительно проверенных исправлений
Engine уже предлагал варианты исправлений для обнаруженных проблем. Но ранее пользователям приходилось выбирать: либо развертывать исправление в продакшене и контролировать производительность на реальном трафике, либо проводить ручную проверку, тестирование оффлайн и только затем развертывать исправление. Выпуск без тестирования чреват ухудшением клиентского опыта. Ручные тесты замедляют разработку продукта.
Для агентов, использующих LangSmith Deployment, Engine теперь проверяет предлагаемые им исправления, прежде чем поместить их в вашу очередь на рассмотрение. Когда Engine v2 замечает проблему, он сначала воспроизводит сбой, запуская проблемные входные данные против вашего агента в Deployment. Затем он запускает процесс разработки исправления: предлагает изменение, тестирует его на тех же входных данных, оценивает результаты, а затем корректирует исправление. С каждым тестом исправление становится надежнее. Как только Engine подтверждает, что исправление решает проблему, он передает его пользователю в LangSmith, где тот может открыть PR в один клик для быстрого развертывания.
Эта функция доступна в закрытой бета-версии уже сегодня для существующих пользователей LangSmith Deployment. Зарегистрируйтесь здесь, если заинтересованы.
Повышение базовой производительности Engine
Помимо новых возможностей, мы постоянно улучшаем производительность Engine в решении его основных задач. Когда Engine находит проблемы с большим влиянием и создает более эффективные исправления, пользователи могут быстрее решать проблемы со своими агентами.
Мы регулярно совершенствуем среду выполнения (harness), промпты и базовые модели Engine, чтобы повысить производительность по сравнению с внутренними и внешними бенчмарками. Как мы сообщали в августе, теперь Engine более чем в 2 раза лучше справляется с обнаружением проблем (согласно IssueBench) и предоставляет исправления, которые эффективнее на 25% (согласно Terminal-Bench).
Что дальше: BYOK для саморазвертываемого Engine
Для команд со строгими правилами в отношении данных, которые используют LangSmith в собственных средах, наш следующий релиз саморазвертываемой версии LangSmith будет поддерживать схему «принесите свой собственный ключ» (BYOK) для Engine. Это позволяет командам использовать собственный API-ключ модели для обеспечения инференса Engine, в то время как данные трассировок остаются в пределах вашего VPC. Мы поделимся более подробной информацией о BYOK для Engine в нашем следующем саморазвертываемом релизе.
Начало работы
Engine v2 доступен в SaaS-развертываниях для всех тарифных планов LangSmith Plus и Enterprise. Поддержка Engine v2 в саморазвертываемых планах появится в ближайшее время. Сведения о ценах можно найти здесь.
Если вы используете тарифный план Plus, вы можете включить Engine всего в несколько кликов.
Если вы используете план Enterprise, вы можете обратиться к своей команде по работе с клиентами, чтобы начать работу.
Впервые в LangSmith? Начните работу сегодня.
