Сегодня мы запускаем Custom Apps в LangSmith — функцию, которая позволяет создавать, публиковать и запускать собственные пользовательские интерфейсы поверх данных LangSmith прямо внутри платформы.
Тысячи команд инженеров по ИИ используют LangSmith для отладки, оценки и улучшения своих агентов. LangSmith предоставляет стандартные интерфейсы для этих рабочих процессов, основанные на самых распространенных требованиях пользователей, включая готовые дашпанели для отслеживания задержек, стоимости и частоты ошибок, а также режим сравнения, который подсвечивает регрессии в ходе экспериментов. Однако мы заметили, что командам часто требуется взаимодействовать с данными способом, который соответствует их собственным критериям качества и процессам проверки.
Некоторые команды уже решают эту задачу, создавая собственные фронтенды вокруг данных LangSmith. Они используют агентов-программистов, API LangSmith и внутренние инструменты для создания кастомных интерфейсов для своих данных. Но такие приложения, как и любое другое программное обеспечение, требуют постоянного обслуживания, включая хостинг, аутентификацию, управление правами доступа и шеринг.
Теперь функция Custom Apps позволяет создавать желаемый интерфейс для ваших данных LangSmith, публиковать его в вашем рабочем пространстве и избавлять себя от хлопот с хостингом, авторизацией и правами доступа.
Как работают Custom Apps
С помощью Custom Apps вы можете начать с чат-промпта или писать код. На тарифах Plus и Enterprise расскажите LangSmith Chat, какие данные вы хотите увидеть и как их визуализировать, и Chat превратит это в работающее приложение. Если вы предпочитаете создавать его самостоятельно, начните с предоставленных шаблонов и пишите код поверх API LangSmith с помощью вашего агента-программиста.
После публикации приложение становится общим интерфейсом внутри рабочего пространства. Вместо того чтобы экспортировать данные или заново создавать тот же статический вид «на лету», вы можете повторно использовать приложение для регулярных рабочих процессов и делиться им с коллегами в том же месте, где они уже просматривают трейсы, эксперименты, аннотации и результаты оценки.
Custom Apps особенно полезны, когда вам нужно повторять один и тот же процесс проверки. Вот несколько распространенных вариантов их использования.
Предоставьте аннотаторам правильный контекст
Обратная связь от людей — один из важнейших ресурсов для улучшения систем искусственного интеллекта. Автоматизированные оценки помогают находить закономерности, но вам все равно нужны люди для проверки результатов, оценки поведения и объяснения того, как должно выглядеть идеальное поведение вашего приложения.
Эта проверка часто зависит от того, кто ее выполняет. Инженеру может понадобиться полный трейс, включая вызовы инструментов, метаданные и промежуточные шаги. Эксперту в предметной области (SME) может потребоваться только запрос пользователя, ответ модели, релевантный контекст и четкая шкала оценивания.
С помощью Custom Apps вы можете создавать интерфейсы аннотирования, соответствующие рабочим процессам проверяющего. Вы можете предоставить рецензентам необходимый контекст, скрыть ненужные детали и направить их к сбору именно тех отзывов, которые вам нужны.
Наши проверки с участием человека раньше были распределены по таблицам и другим разрозненным инструментам. Рецензенты переключались между платформами, а наша команда тратила усилия вручную на подготовку файлов и стандартизацию форматов. Поэтому мы создали Custom App для структурированной оценки и аннотирования LLM. Оно работает внутри LangSmith и подключается через API, поэтому мы можем создавать очереди проверок и дашпанели, которые соответствуют тому, как работают наши команды. Рецензент выбирает очередь, оценивает и редактирует результат, а затем добавляет его в датасет. Это дает нам воспроизводимую структуру для проверок с участием человека, более простое отслеживание и оценку, которую легче масштабировать между командами. – Роксана Ван (Roxanne Wang), Chime®
Настройте способ сравнения экспериментов
Эксперименты помогают оценить, привели ли изменения в агенте к желаемому результату. Перед выпуском изменений вам обычно требуется просмотреть отдельные результаты, сегменты или паттерны сбоев, которые важны для вашего приложения.
Это может означать сравнение результатов для разных версий промптов, проверку того, не привело ли переключение модели к регрессиям, или детализацию результатов по сегментам клиентов, категориям сбоев, поставщикам моделей или внутренним критериям оценки.
С помощью Custom Apps вы можете создавать интерфейсы проверки экспериментов под конкретные задачи. Это означает, что вы можете выделять наиболее важные срезы, показывать репрезентативные примеры, сравнивать результаты бок о бок или упаковывать результаты в тот формат, который вы используете во время релизных ревью.
Это особенно полезно, когда проверка экспериментов является повторяющимся процессом. Вместо того чтобы каждый раз заново создавать один и тот же статический график или пользовательский анализ, вы можете создать общее приложение, которое остается подключенным к данным LangSmith, и использовать его повторно для каждого цикла проверки.
Сделайте просмотр трейсов более сфокусированным
Ваш процесс проверки трейсов обычно зависит от типа запускаемого агента. Для агента службы поддержки клиентов вы можете сосредоточиться на тоне общения и на том, решил ли агент проблему, что можно оценить только прочитав диалог. С другой стороны, исследовательского агента можно оценивать по его источникам и количеству необходимых вызовов инструментов.
Когда такая проверка проводится по расписанию, Custom Apps позволяют создать более сфокусированный интерфейс вокруг вопросов, которые вы задаете чаще всего: например, где изменилось поведение, какой шаг вызвал сбой или следовало ли приложение ожидаемому процессу.
Используйте дизайн-систему с открытым исходным кодом от LangSmith
Custom Apps по умолчанию используют Macaw — дизайн-систему LangSmith. Это придает вашим приложениям тот же визуальный язык, что и остальной интерфейс LangSmith, включая согласованные компоненты и иконографию.
У вас также есть свобода настройки внешнего стиля. Если вы хотите, чтобы приложение соответствовало бренду вашей компании, вы можете добавить любые настройки в чате или с помощью вашего агента-программиста (например: «Сделай так, чтобы это выглядело как старое ПО для Macintosh»).
Вместе с сегодняшним запуском мы открываем исходный код Macaw. Мы продолжим развивать его и приветствуем отзывы сообщества по мере его эволюции.
Доступность и цены
Custom Apps доступны на тарифах Plus и Enterprise:
- Тариф Plus включает одно приложение Custom App на организацию и возможности чата.
- Тариф Enterprise включает неограниченное количество приложений Custom App с возможностями чата.
Информацию об общем использовании и выставлении счетов см. на нашей странице цен.
Начало работы
Вы можете опробовать Custom Apps уже сегодня, войдя в систему или зарегистрировавшись в LangSmith, а также посетив документацию для получения подробной информации.
