Сегодня мы запускаем Custom Apps в LangSmith — инструмент, который позволяет создавать, публиковать и запускать пользовательские интерфейсы поверх данных LangSmith непосредственно внутри платформы.
Тысячи команд AI-инженеров используют LangSmith для отладки, оценки и улучшения своих агентов. LangSmith предоставляет стандартные интерфейсы для этих рабочих процессов, основанные на наиболее частых запросах пользователей, включая готовые панели мониторинга задержек, затрат и частоты ошибок, а также представление для сравнения, которое подсвечивает регрессии в экспериментах. Однако мы заметили, что командам часто требуется взаимодействовать с данными способами, соответствующими их собственным критериям качества и процессам проверки.
Некоторые команды уже решают эту задачу, создавая собственные фронтенды для данных LangSmith. Они используют AI-агентов для написания кода, API LangSmith и внутренние инструменты для создания кастомных интерфейсов. Но такие приложения требуют постоянного обслуживания, как и любое другое программное обеспечение, включая хостинг, аутентификацию, управление правами доступа и совместное использование.
Теперь Custom Apps позволяет создавать нужные вам интерфейсы для работы с данными LangSmith, публиковать их в своем рабочем пространстве и избавляет от необходимости заниматься хостингом, аутентификацией и настройкой прав доступа.
Как работают Custom Apps
С помощью Custom Apps вы можете начать с чат-промпта или написать код самостоятельно. В планах Plus и Enterprise вы можете просто сказать LangSmith Chat, какие данные вы хотите видеть и как их визуализировать, и чат превратит это в работающее приложение. Если вы предпочитаете создавать всё сами, начните с готовых шаблонов и работайте с API LangSmith с помощью своего агента-кодировщика.
После публикации приложение становится общим интерфейсом внутри рабочего пространства. Вместо того чтобы экспортировать данные или каждый раз создавать одни и те же статические представления, вы можете повторно использовать приложение для регулярных рабочих процессов и делиться им с коллегами там же, где они уже просматривают трассировки, эксперименты, аннотации и результаты оценки.
Custom Apps особенно полезны, когда вам нужно повторять один и тот же процесс проверки. Вот несколько распространенных способов их использования.
Предоставление аннотаторам нужного контекста
Обратная связь от людей — один из важнейших факторов улучшения систем ИИ. Автоматизированные оценки помогают находить закономерности, но вам всё равно нужны люди для проверки результатов, оценки поведения и объяснения того, что считается качественной работой вашего приложения.
Такая проверка часто зависит от того, кто выполняет работу. Инженеру может потребоваться полная трассировка, включая вызовы инструментов, метаданные и промежуточные шаги. Эксперту в предметной области (SME) может быть достаточно запроса пользователя, ответа модели, релевантного контекста и четкой рубрики.
С помощью Custom Apps вы можете создавать интерфейсы аннотирования, соответствующие рабочим процессам проверяющего. Вы можете предоставить рецензентам необходимый контекст, скрыть лишние детали и направить их через процесс сбора именно тех отзывов, которые вам нужны.
Наши проверки с участием человека раньше были разбросаны по электронным таблицам и другим отдельным инструментам. Рецензенты переключались между платформами, а наша команда тратила время на ручную подготовку файлов и стандартизацию форматов. Поэтому мы создали Custom App для структурированной оценки LLM и аннотирования. Оно работает внутри LangSmith и подключается через API, поэтому мы можем создавать очереди на проверку и панели мониторинга, соответствующие тому, как работают наши команды. Рецензент выбирает очередь, оценивает и редактирует результат, а затем добавляет его в набор данных. Это дает нам повторяемую структуру для проверки с участием человека, упрощает отслеживание и делает оценку более масштабируемой для разных команд. – Роксана Ван, Chime®
Настройка сравнения экспериментов
Эксперименты помогают оценить, привели ли изменения в вашем агенте к желаемому результату. Перед выпуском изменений вам обычно нужно просмотреть отдельные результаты, сегменты или паттерны сбоев, которые важны для вашего приложения.
Это может означать сравнение результатов между версиями промптов, проверку того, не привела ли замена модели к регрессиям, или сегментацию результатов по группам пользователей, категориям сбоев, провайдерам моделей или внутренним критериям оценки.
С помощью Custom Apps вы можете создавать интерфейсы для анализа экспериментов, ориентированные на эти решения. Это означает, что вы можете выделять наиболее важные сегменты, показывать репрезентативные примеры, сравнивать результаты бок о бок или упаковывать результаты в формат, который вы используете при проверке релизов.
Это особенно полезно, когда проверка экспериментов является регулярным процессом. Вместо того чтобы каждый раз перестраивать одну и ту же статическую диаграмму или проводить кастомный анализ, вы можете создать общее приложение, которое остается подключенным к данным LangSmith, и использовать его для каждого цикла проверки.
Сделайте проверку трассировок более сфокусированной
Ваш процесс проверки трассировок обычно зависит от типа агента, который вы используете. Для агента службы поддержки вы можете сосредоточиться на тоне общения и на том, решил ли агент проблему, что можно оценить только прочитав переписку. С другой стороны, работу исследовательского агента можно оценивать по его источникам и количеству необходимых вызовов инструментов.
Когда такая проверка проводится по расписанию, Custom Apps позволяют создать более сфокусированный интерфейс вокруг вопросов, которые вы задаете чаще всего: например, где изменилось поведение, какой шаг вызвал сбой или следовало ли приложение ожидаемому процессу.
Используйте дизайн-систему LangSmith с открытым исходным кодом
Custom Apps по умолчанию используют Macaw, дизайн-систему LangSmith. Это придает вашим приложениям тот же визуальный стиль, что и остальной части LangSmith, включая согласованные компоненты и иконографику.
У вас также есть свобода в настройке внешнего вида. Если вы хотите, чтобы приложение соответствовало бренду вашей компании, вы можете добавить любые настройки в чате или с помощью своего агента-кодировщика (например, «Сделай так, чтобы это выглядело как программное обеспечение Macintosh старой школы»).
Вместе с сегодняшним запуском мы делаем Macaw проектом с открытым исходным кодом. Мы продолжим его развивать и будем рады отзывам сообщества по мере его эволюции.
Доступность и цены
Custom Apps доступны в планах Plus и Enterprise:
- Планы Plus включают одно Custom App на организацию и доступ к чату.
- Планы Enterprise включают неограниченное количество Custom Apps с доступом к чату.
Для получения общей информации об использовании и оплате посетите нашу страницу с ценами.
Начало работы
Вы можете попробовать Custom Apps уже сегодня, войдя в систему или зарегистрировавшись в LangSmith, а также посетив документацию для получения более подробной информации.
