На этой неделе сотни AI-инженеров присоединились к нам на конференции Interrupt NYC, чтобы узнать, как команды внедряют специализированных агентов в производство, и познакомиться с последними анонсами LangSmith.
Наши последние релизы сосредоточены на двух столпах жизненного цикла разработки агентов, которые помогают командам создавать решения с контролем и гибкостью, повышать интеллект своих агентов и обеспечивать надежное управление: среда выполнения (runtime) и наблюдаемость + оценка (evals).
Среда выполнения дает агентам все необходимое для работы в продакшене (например, память, каналы, инструменты и безопасные среды исполнения). Наблюдаемость и оценка помогают командам понимать поведение, измерять качество и улучшать агентов по мере их использования.
Над этим уровнем находится уровень интеллекта, который работает с бизнес-логикой, трассировками, оценками и производственными данными для ускорения цикла разработки агентов.
Вот что мы выпустили.
LangSmith Engine v2: проактивное обнаружение проблем агентов и быстрое исправление
Улучшение агентов — это многоэтапный процесс; типичный рабочий процесс требует от инженеров обнаружения проблем, определения первопричины, предложения исправления, его тестирования, развертывания и мониторинга регрессий.
Мы создали LangSmith Engine как встроенного в платформу агента, который автоматизирует работу на каждом этапе жизненного цикла разработки. С момента запуска в мае Engine уже помог инженерам проанализировать более 60 миллионов трассировок для диагностики десятков тысяч проблем.
Engine v2 представляет значительные улучшения в области обнаружения проблем, тестирования и валидации.
Проактивное устранение неполадок с помощью Red Teaming
Новые возможности Red Teaming помогают обнаруживать проблемы до того, как они проявятся в продакшене. Используя производственные трассировки и репозитории, Engine может генерировать гипотезы о проблемах, которые, возможно, еще не появились в продакшене, тестировать эти гипотезы и выявлять подтвержденные сбои для проверки.
Обнаружение трудноуловимых проблем
Теперь Engine обнаруживает больше типов проблем. В дополнение к ошибкам и невыполненным запросам пользователей, он может выявлять тенденции производительности по уровню ошибок, задержке и стоимости, а также неэффективную работу агента, такую как повторяющиеся вызовы инструментов или излишне длинные траектории.
Автоматическое тестирование предлагаемых исправлений
Для агентов, работающих на LangSmith Deployment, Engine теперь может проверять предлагаемые исправления перед проверкой человеком и развертыванием. Engine v2 запускает проблемные входные данные против вашего агента, чтобы подтвердить наличие проблемы. Затем он тестирует варианты исправлений на более широком наборе оценочных данных, пока не найдет то, которое решает проблему. Как только Engine находит удовлетворительное исправление, оно представляется конечному пользователю, который может открыть PR одним кликом для быстрого развертывания.
Следующий релиз self-hosted версии LangSmith будет поддерживать BYOK для Engine.
Узнайте больше об Engine v2.
Managed Deep Agents v0.8: новая аутентификация, память и каналы
Managed Deep Agents объединяет возможности Deep Agents с управляемой инфраструктурой, создавая самый простой способ перехода от бизнес-логики к агенту в продакшене.
Наш последний релиз решает четыре проблемы, с которыми сталкиваются команды при запуске агентов в продакшене: память агента, аутентификация, каналы и управление инструментами.
Аутентификация и память с привязкой к личности
Managed Deep Agents уже поддерживали долговечную память агента, и мы рады представить новую память на уровне пользователя, чтобы агенты могли хранить контекст, привязанный к каждому аутентифицированному пользователю. Этот новый слой предоставляет место для хранения контекста конкретного вызывающего абонента, который остается отделенным от общей памяти на уровне агента.
Среда выполнения не копирует содержимое между слоями, а политики доступа могут быть определены на каждом уровне, чтобы гарантировать, что информация уровня пользователя не попадет в разговоры.
Managed Deep Agents теперь также поддерживает учетные данные, принадлежащие как агенту, так и пользователю, для внешних подключений (например, GitHub и Notion).
Новые и расширенные каналы
Агенты работают лучше всего, когда они действуют там, где уже находятся пользователи. Мы расширили нашу поддержку Slack, включив передачу файлов, чтобы пользователи могли отправлять логи, электронные таблицы, контракты, скриншоты и другие файлы напрямую агенту.
Новая поддержка HTTP-каналов позволяет командам подключать агентов к любому сервису, который может отправлять JSON-вебхуки. Это особенно полезно для агентов, ориентированных на клиентов, которые живут в нескольких каналах.
Встроенный веб-поиск
Веб-поиск — один из самых распространенных инструментов агентов, поэтому мы решили встроить его прямо в Managed Deep Agents.
Managed Deep Agents 0.8 добавляет веб-поиск в качестве предустановленного инструмента. Благодаря Parallel, встроенный веб-поиск дает агентам доступ к актуальной информации без необходимости настройки отдельной учетной записи поставщика, ключа API или пользовательского инструмента.
Узнайте больше о Managed Deep Agents v0.8.
LangSmith Trajectories: удобная навигация по сессиям агентов и данным трассировки
Агентов, работающих долгое время, бывает сложно отлаживать, так как сессия может включать множество шагов, вызовов инструментов, повторных попыток и переключений между субагентами. Полная трассировка может стать длинной и вложенной, и часто содержит больше информации, чем нужно для понимания того, что произошло.
Вот почему мы запустили LangSmith Trajectories — разговорное представление сессии агента. Траектория агрегирует сообщения от людей, ИИ и инструментов по основному агенту и любым субагентам, а затем показывает их в хронологическом порядке. Результатом является более быстрая отладка, так как команды могут быстро увидеть, где поведение изменилось или сломалось.
Траектории также упрощают рабочие процессы проверки. Проверки экспертами (SME) критически важны для точности агента, но часто эти проверяющие не являются теми, кто создал агента. Траектории дают им читаемое представление сессии, которое они могут оценить, пометить и аннотировать, не разбирая метаданные выполнения и другие детали.
Траектории являются важной частью циклов улучшения. Онлайн-оценщики LangSmith могут оценивать траектории, предоставляя лучшие входные данные для суждения о поведении агента на протяжении всей сессии.
Узнайте больше о LangSmith Trajectories.
LangSmith Fine-Tuning: дообучение открытых моделей для специализированных задач
Мы создали LangSmith Fine-Tuning, чтобы помочь командам получить преимущества дообученных моделей с открытым исходным кодом без необходимости вручную создавать конвейер дообучения. Модель, обученная на ваших собственных данных и знаниях, часто может выполнять специализированные задачи так же хорошо или лучше, чем универсальная модель, при гораздо меньших затратах и задержках.
LangSmith Fine-Tuning позволяет командам проводить контролируемое дообучение (SFT) для обучения открытой модели на высококачественных примерах задачи. smithtune, CLI для LangSmith Fine-Tuning, помогает превратить траектории в полезные обучающие данные, обрабатывая весь процесс дообучения:
- Создание и подготовка наборов данных из траекторий
- Обучение модели с помощью Baseten или Fireworks
- Оценка результатов с помощью LangSmith
- Развертывание дообученных моделей и их подключение к приложениям
Мы провели внутреннее тестирование SmithTune, чтобы оценить качество рабочего процесса, и невероятно довольны результатами.
Вы можете прочитать полный разбор здесь.
Пользовательские приложения: создание собственных интерфейсов вокруг данных ваших агентов
Каждая команда просматривает данные агентов по-своему. LangSmith предоставляет интерфейсы по умолчанию для общих рабочих процессов, таких как просмотр трассировок, сравнение экспериментов, аннотирование и анализ оценок. Но мы услышали от клиентов, что они хотят более индивидуальных способов взаимодействия со своими данными, которые соответствуют их собственным рабочим процессам и критериям качества.
Custom Apps позволяют командам создавать, публиковать и запускать пользовательские интерфейсы поверх данных LangSmith.
Вместо экспорта данных или поддержки отдельного внутреннего инструмента команды могут создавать решения на основе API LangSmith, используя шаблоны, встроенный чат или рекомендации агентов по написанию кода, а затем публиковать приложение в своем рабочем пространстве LangSmith. После публикации приложение становится общим интерфейсом для повторяющихся рабочих процессов.
Это полезно для процессов аннотирования, где рецензентам нужен специализированный пользовательский интерфейс, для анализа экспериментов, где команды хотят сравнивать результаты между версиями или сегментами данных, а также для процессов анализа трассировок, где оптимальное представление зависит от конкретного приложения.
Узнайте больше о Custom Apps в LangSmith здесь.
Владение собственным интеллектом
В конечном счете, наши последние обновления поддерживают нашу миссию — дать каждой компании возможность владеть собственным интеллектом. На практике это означает, что команды могут создавать специализированные, предметно-ориентированные агенты и приложения, адаптированные к конкретным задачам, которые они хотят решить.
Посмотрите основное выступление на конференции Interrupt NYC с участием нашего генерального директора Харрисона Чейза, чтобы подробнее узнать об этих анонсах.
