На этой неделе сотни инженеров в области ИИ присоединились к нам на конференции Interrupt NYC, чтобы узнать, как команды выводят доменные агенты в продакшен, и первыми услышать анонсы LangSmith.
Наши последние релизы сосредоточены на двух столпах жизненного цикла разработки агентов, которые помогают командам создавать решения с возможностью контроля и гибкости, повышать интеллект своих агентов и обеспечивать надежное управление: среда выполнения (runtime) и наблюдаемость (observability) + оценки (evaluations).
Среда выполнения предоставляет агентам все необходимое для работы в продакшене (например, память, каналы, инструменты и безопасные среды выполнения). Наблюдаемость и оценки помогают командам понимать поведение, измерять качество и улучшать агентов по мере их использования.
Над этим находится интеллектуальный уровень, который работает с бизнес-логикой, трассировками, оценками и производственными данными для ускорения цикла разработки агентов.
Вот что мы выпустили.
LangSmith Engine v2: упреждающее обнаружение проблем агентов и более быстрое внедрение исправления
Улучшение агентов — это многоэтапный процесс; типичный рабочий процесс требует от инженеров обнаружения проблем, определения первопричины, предложения исправления, его тестирования, развертывания и мониторинга регрессий.
Мы создали LangSmith Engine как встроенный в платформу агент, который автоматизирует работу на каждом этапе жизненного цикла разработки агентов. С момента запуска в мае Engine уже помог инженерам проанализировать более 60 миллионов трассировок для диагностики десятков тысяч проблем.
Engine v2 представляет серьезные усовершенствования для обнаружения проблем, тестирования и валидации.
Упреждающее устранение неполадок с помощью Red Teaming
Новые возможности Red Teaming помогают выявлять проблемы до того, как они проявятся в продакшене. Используя трассировки и репозитории продакшена, Engine может генерировать гипотезы о проблемах, которые еще не проявились в продакшене, тестировать эти гипотезы и выводить подтвержденные сбои на рассмотрение.
Обнаружение труднодоступных для поиска проблем
Теперь Engine обнаруживает больше типов проблем. В дополнение к ошибкам и невыполненным запросам пользователей он может определять тенденции производительности по уровню ошибок, задержкам и стоимости, а также неэффективную работу агента, такую как повторяющиеся вызовы инструментов или излишне длинные траектории.
Автоматическое тестирование предложенных исправлений
Для агентов, работающих на LangSmith Deployment, Engine теперь может проверять предложенные исправления до их проверки человеком и развертывания. Engine v2 запускает проблемные входные данные для вашего агента, чтобы подтвердить проблему. Затем он тестирует варианты исправлений на более широком наборе оценок, пока не найдет то, которое решает проблему. Как только у Engine появляется удовлетворительное исправление, оно демонстрируется конечному пользователю, который может открыть PR одним кликом для быстрого развертывания.
Следующий релиз локальной версии (self-hosted) LangSmith будет поддерживать BYOK для Engine.
Узнайте больше об Engine v2.
Managed Deep Agents v0.8: новая аутентификация, память и каналы
Managed Deep Agents объединяет инфраструктуру Deep Agents с управляемой инфраструктурой, создавая самый простой способ перехода от бизнес-логики к агенту в продакшене.
Наш последний релиз решает четыре проблемы, с которыми сталкиваются команды при запуске агентов в продакшене: память агента, аутентификация, каналы и управление инструментами.
Аутентификация с привязкой к идентификатору и память
Managed Deep Agents уже поддерживала постоянную память агента, и мы рады представить новую память на уровне пользователя, благодаря которой агенты могут хранить контекст с привязкой к каждому аутентифицированному пользователю. Этот новый уровень предоставляет место для хранения специфичного для вызывающего абонента контекста, отделяя его от общей памяти на уровне агента.
Среда выполнения не копирует содержимое между уровнями, и политики доступа могут определяться на каждом уровне, чтобы гарантировать, что информация на уровне пользователя не попадет в беседы.
Managed Deep Agents теперь также поддерживает учетные данные, принадлежащие как агенту, так и пользователю, для внешних подключений (таких как GitHub и Notion).
Новые и расширенные каналы
Агенты работают лучше всего, когда они функционируют там, где пользователи уже находятся. Мы расширили поддержку Slack, добавив передачу файлов, чтобы пользователи могли отправлять журналы, электронные таблицы, контракты, скриншоты и другие файлы напрямую агенту.
Новая поддержка каналов HTTP позволяет командам подключать агентов к любому сервису, который может отправлять вебхук JSON. Это особенно полезно для ориентированных на клиентов агентов, работающих в нескольких каналах.
Встроенный веб-поиск
Веб-поиск — один из наиболее распространенных инструментов для агентов, поэтому мы решили встроить его прямо в Managed Deep Agents.
Managed Deep Agents 0.8 добавляет веб-поиск в качестве готового инструмента. Веб-поиск на базе Parallel предоставляет агентам доступ к актуальной информации без необходимости настройки отдельного аккаунта поставщика, ключа API или пользовательского инструмента.
Узнайте больше о Managed Deep Agents v0.8.
LangSmith Trajectories: удобная навигация по сессиям агентов и данным трассировки
Долго работающих агентов бывает сложно отлаживать, так как сессия может включать множество шагов, вызовов инструментов, повторных попыток и переключений между субагентами. Полная трассировка может стать длинной и вложенной, и часто это больше информации, чем нужно для понимания того, что произошло.
Именно поэтому мы запустили LangSmith Trajectories — разговорное представление сессии агента. Траектория объединяет сообщения от людей, ИИ и инструментов основного агента и любых субагентов, а затем отображает их в хронологическом порядке. Результатом является более быстрая отладка, поскольку команды могут быстро увидеть, где поведение изменилось или нарушилось.
Траектории также упрощают рабочие процессы проверки. Проверки экспертами в предметной области критически важны для точности агента, но часто эти проверяющие не являются разработчиками агента. Траектории предоставляют им удобочитаемый вид сессии, который они могут оценивать, отмечать и аннотировать без необходимости разбирать метаданные выполнения и другие детали.
Траектории являются важнейшей частью циклов улучшений. Онлайн-оценщики LangSmith могут оценивать траектории, предоставляя лучшие исходные данные для оценки поведения агента в течение сессии.
Узнайте больше о LangSmith Trajectories.
LangSmith Fine-Tuning: дообучение открытых моделей для специализированных задач
Мы создали LangSmith Fine-Tuning, чтобы помочь командам получить преимущества дообученных моделей с открытым исходным кодом без необходимости вручную создавать конвейер дообучения. Модель, обученная на ваших собственных данных и интеллектуальных ресурсах, часто может выполнять специализированные задачи так же хорошо или лучше, чем универсальная пограничная модель, при этом с гораздо меньшими затратами и задержками.
LangSmith Fine-Tuning позволяет командам проводить контролируемое дообучение (SFT) для обучения открытой модели на высококачественных примерах задачи. smithtune, CLI для тонкой настройки LangSmith, помогает превратить траектории в полезные обучающие данные, управляя всем процессом тонкой настройки:
- Создание и подготовка датасетов на основе траекторий
- Обучение модели с помощью Baseten или Fireworks
- Оценка результатов с помощью LangSmith
- Развертывание настроенных моделей и их подключение к приложениям
Мы провели внутреннее тестирование SmithTune, чтобы оценить качество рабочего процесса собственными силами, и невероятно воодушевлены результатами.
Custom Apps: создание кастомных интерфейсов для данных ваших агентов
Каждая команда по-своему анализирует данные агентов. LangSmith предоставляет интерфейсы по умолчанию для стандартных рабочих процессов, таких как просмотр трассировок, сравнение экспериментов, аннотирование и анализ оценок. Но от клиентов мы услышали, что им нужны более индивидуальные способы взаимодействия с данными, соответствующие их собственным рабочим процессам и критериям качества.
Custom Apps позволяют командам создавать, публиковать и запускать пользовательские интерфейсы на основе данных LangSmith.
Вместо того чтобы экспортировать данные или поддерживать отдельный внутренний инструмент, команды могут создавать приложения на основе API LangSmith, используя шаблоны, встроенный чат или рекомендации агентов по написанию кода, а затем публиковать их в своем рабочем пространстве LangSmith. После публикации приложение становится общим интерфейсом для повторяющихся рабочих процессов.
Это полезно для процессов аннотирования, где рецензентам нужен специализированный пользовательский интерфейс, для анализа экспериментов, где команды хотят сравнивать результаты между версиями или сегментами, а также для рабочих процессов анализа трассировок, где оптимальное представление данных зависит от конкретного приложения.
Узнайте больше о Custom Apps в LangSmith здесь.
Владение собственным интеллектом
В конечном счете, наши последние обновления поддерживают нашу миссию — дать каждой компании возможность владеть собственным интеллектом. На практике это означает, что команды могут создавать специализированные, предметно-ориентированные агенты и приложения, адаптированные к конкретным задачам, которые они хотят решить.
Посмотрите основное выступление на конференции Interrupt NYC с участием нашего генерального директора Харрисона Чейза, чтобы подробнее узнать об этих анонсах.
