Мы создали LangSmith Engine, чтобы ускорить исправление агентов, чтобы разработчики могли тратить больше времени на создание новых возможностей и меньше — на борьбу с багами.
Engine — это встроенный в платформу агент, который автоматизирует работу на каждом этапе жизненного цикла разработки агентов. Агенты отлично подходят для этой задачи. Они превосходно анализируют большие наборы данных и пишут код, что делает их идеальными для обнаружения скрытых проблем, написания исправлений и мониторинга регрессий.
С момента запуска в мае Engine проанализировал более 70 миллионов трассировок и диагностировал десятки тысяч проблем.
С сегодняшним запуском v2 Engine берет на себя еще больше работы, помогая пользователям быстрее выпускать исправления и обнаруживать проблемы до того, как они появятся в продакшене. Engine v2:
- Проводит red teaming вашего агента для проактивного обнаружения багов и проблем с промптами
- Обнаруживает труднозаметные проблемы, такие как неэффективность и тенденции в уровне ошибок, задержках и стоимости
- Автоматически проверяет предложенные исправления перед их просмотром человеком и развертыванием
Что делает LangSmith Engine
Engine сканирует ваши производственные трассировки на предмет областей для улучшения, от ошибок до невыполненных запросов пользователей. Как только проблема идентифицирована, Engine классифицирует ее и группирует связанные трассировки в одну проблему. Каждая запись содержит всю информацию, необходимую пользователю для принятия мер: первопричину, предложенное исправление, эталонные примеры для ваших оценочных наборов данных и постоянный мониторинг.
Engine берет данные, которые собирает LangSmith, и применяет их на практике, помогая вам быстрее проходить жизненный цикл разработки агента (ADLC) для его улучшения.
В Engine v2 мы сосредоточились на повышении эффективности двух основных задач: выявлении проблем и предложении исправлений.
Проактивное обнаружение проблем агента
В Engine v2 мы представляем Red Teaming — наш инструмент проактивного устранения неполадок для выявления таких проблем, как галлюцинации и нарушения системных промптов, прежде чем они затронут пользователей в продакшене. Red Teaming анализирует производственные трассировки и репозитории вашего агента, чтобы понять его назначение и поведение, а затем использует этот контекст для проверки на уязвимости и выявления проблем, которые еще не проявились в продакшене. Вы получаете список актуальных, проверенных проблем для устранения, которые предвосхищают будущие сбои, чтобы вы могли предотвратить их.
Red Teaming доступен сегодня в рамках закрытого бета-тестирования для существующих пользователей LangSmith Deployment. Вы можете подать заявку на участие в бета-тестировании здесь.
Обнаружение труднозаметных проблем
Engine v2 теперь может находить в производственных трассировках более сложные проблемы, которые часто ускользают от внимания человека, пока не начинают влиять на клиентов и счета за использование LLM. Даже когда агент работает ожидаемо, незначительные ухудшения задержки могут раздражать пользователей, а неэффективные траектории агента тратят токены впустую.
Engine v2 помечает эти проблемы, чтобы вы могли устранить их до того, как они повлияют на ваш бизнес.
- Неэффективная работа: Engine анализирует траектории агента, чтобы определить, выбирает ли агент неэффективный путь для выполнения задачи, например, делает некорректный или повторяющийся вызов инструмента, и предлагает более эффективную альтернативу.
- Тенденции производительности: Engine отслеживает тенденции по ключевым метрикам, таким как уровень ошибок, задержка и стоимость.
Каждая проблема отслеживается в одной очереди, поэтому у вас есть единое место для отслеживания и решения всех проблем с агентами.
Выпуск предварительно проверенных исправлений
Engine уже предоставлял предложенные исправления для обнаруженных проблем. Но ранее пользователям приходилось выбирать: развернуть исправление в продакшене и отслеживать производительность на реальном трафике или выполнить ручную проверку, протестировать в офлайне, а затем развернуть. Выпуск без тестирования чреват плохим пользовательским опытом. Ручные тесты замедляют разработку продукта.
Для агентов, использующих LangSmith Deployment, Engine теперь проверяет предложенные исправления, прежде чем помещать их в вашу очередь на проверку. Когда Engine v2 обнаруживает проблему, он сначала воспроизводит сбой, запуская проблемные входные данные на вашем агенте в Deployment. Затем он начинает процесс разработки исправления: предлагает изменение, тестирует его на тех же входных данных, оценивает результаты, а затем корректирует исправление. С каждым тестом исправление становится надежнее. Как только Engine подтверждает, что исправление решает проблему, он предоставляет его пользователю в LangSmith, где тот может открыть PR одним кликом для быстрого развертывания.
Эта функция доступна сегодня в рамках закрытого бета-тестирования для существующих пользователей LangSmith Deployment. Зарегистрируйтесь здесь, если вам интересно.
Улучшение базовой производительности Engine
Помимо новых возможностей, мы постоянно улучшаем производительность Engine в выполнении его основных задач. Когда Engine находит более серьезные проблемы и предлагает более эффективные исправления, пользователи могут быстрее решать проблемы в своих агентах.
Мы регулярно вносим улучшения в инструментарий, промпты и базовые модели Engine, чтобы повысить производительность по внутренним и внешним бенчмаркам. Как мы сообщали в августе, Engine теперь более чем в 2 раза лучше обнаруживает проблемы (согласно IssueBench) и предоставляет исправления, которые на 25% эффективнее (согласно Terminal-Bench).
Что дальше: BYOK для self-hosted Engine
Для команд со строгими политиками данных, которые используют LangSmith в self-hosted средах, наш следующий выпуск self-hosted LangSmith будет поддерживать использование собственного ключа (BYOK) для Engine. Это позволит командам предоставлять свой собственный API-ключ модели для обеспечения вывода Engine, в то время как данные трассировки останутся внутри вашего VPC. Мы поделимся подробностями о BYOK для Engine в нашем следующем self-hosted выпуске.
Начало работы
Engine v2 доступен в SaaS-развертываниях для всех планов LangSmith Plus и Enterprise. Поддержка Engine v2 в планах Self-Hosted появится в ближайшее время. Сведения о ценах можно найти здесь.
Если у вас план Plus, вы можете включить Engine всего за несколько кликов.
Если у вас план Enterprise, вы можете связаться со своей командой по работе с клиентами, чтобы начать работу.
Впервые в LangSmith? Начните сегодня.
