Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Langsmith dlya agentov po napisaniyu koda teper otslezhivayte rashody po rezulta
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам

Источник: LangChain•18 ноября 2026 г. в 15:04

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам

LangSmith теперь предлагает отчетность, созданную специально для агентов по написанию кода, а также новые возможности, которые связывают их расходы с создаваемыми ими pull-запросами.

Написание кода — это крупнейшая категория расходов корпоративных ИИ-приложений, reaching $34B in 2026. Каждая компания сегодня хочет знать, что приносят эти затраты, но большинство технических руководителей до сих пор не могут дать точный ответ на вопрос, на что именно они тратятся.

Чтобы понять рентабельность (ROI) агентов по написанию кода, команды раньше использовали высокоуровневые данные, такие как аналитика использования и потребление ИИ, но они не дают представления о том, что именно производят токены. Ответ на вопрос о рентабельности сложен и требует прозрачности расходов по пользователям и командам, а также способа связать их с результатами. Мы сами столкнулись с этой проблемой, когда расходы на нашего собственного агента по написанию кода, Robin, начали расти, и это одна из причин, по которой мы создали маршрутизатор моделей.

Теперь мы рады предложить практическое решение и нашим клиентам. LangSmith теперь предлагает отчетность, созданную специально для агентов по написанию кода, а также новые возможности, которые связывают их расходы с создаваемыми ими pull-запросами. Это обеспечивает более четкий способ расчета рентабельности бюджетов на агентов по написанию кода и понимания того, как изменения в моделях и политиках влияют на нее.

Pull-запросы как результат сессии

Новая платформа LangSmith Agent Platform работает вокруг агента. Каждый агент имеет свою собственную запись и относится к «типу агента», который определяет, что отображается на его панели управления, к каким данным он подключается и как оценивается. Агенты по написанию кода — это первый специализированный тип агентов, который предоставляет данные о pull-запросах, что является одним из признаков полезности работы агента.

LangSmith уже отслеживает агентов по написанию кода у разных поставщиков моделей, включая Claude Code и Codex. Благодаря агентам по написанию кода в LangSmith расходы в каждой трассировке автоматически приписываются к pull-запросам, в которые внес вклад каждый агент. Атрибуция отражает задачи, для которых используется агент по написанию кода. Она охватывает как случаи, когда один поток может открыть несколько PR, так и случаи, когда для завершения одного PR требуется несколько потоков, поэтому данные в LangSmith отражают то, что ваши агенты действительно выполнили и во сколько это обошлось.

Одна панель управления для каждого отслеживаемого агента по написанию кода

До сегодняшнего дня LangSmith позволял видеть стоимость одной трассировки для любого из ваших агентов по написанию кода, по одной трассировке за раз. Это полезно для ручной отладки, но не дает представления о тенденциях во всей команде. Новая страница обзора агентов по написанию кода агрегирует эти расходы и связывает их с pull-запросами, над которыми работали ваши агенты.

Панель управления показывает ключевые показатели эффективности (KPI) с первого взгляда, а нажатие на любую метрику открывает ее динамику с течением времени. Например, если ваша команда переключилась на другие модели, вы можете сравнить показатели «до» и «после», чтобы увидеть влияние изменений.

LangSmith также разбивает расходы по состоянию каждого PR (открыт, закрыт или объединен). Это дает представление о том, сколько pull-запросов объединено как успешный код, а сколько осталось нерешенными и закрытыми. Объединенные pull-запросы — полезный сигнал, но не единственный признак продуктивной работы. Агенты по написанию кода также используются для проверки кода и расследования проблем — работы, которая не всегда заканчивается созданием PR. LangSmith отслеживает эти расходы отдельно как неатрибутированные. Вы можете нажать на них, чтобы открыть соответствующие потоки и увидеть, в чем заключалась эта работа и была ли она ценной.

Представление по типам работы показывает, что именно просили делать ваших агентов. LangSmith помечает каждый поток в зависимости от типа запрашиваемой работы (например, функции, исправление ошибок, расследование и проверка кода) и показывает долю потоков и стоимость для каждого типа. Каждая организация сама решает, что считать нецелевым использованием, исходя из своих задач, поэтому команда, использующая агента по написанию кода только для бэкенд-сервисов, может пометить потоки, где пользователь просит агента составить маркетинговый текст. Это представление также помогает объяснить неатрибутированные расходы, поскольку проверка и расследование потоков часто не заканчиваются созданием PR.

Панель управления также показывает, какие навыки вызывают ваши агенты, ваши самые дорогие PR и как стоимость масштабируется в зависимости от длины диалога. Каждая метрика ссылается на потоки и сессии, стоящие за ней, поэтому вы можете открыть конкретный разговор и увидеть, что агент делал в этой сессии.

Работает с каждым крупным агентом по написанию кода

Многие инженерные команды используют не одного агента по написанию кода. Некоторые инженеры работают в Claude Code, другие — в Cursor или Copilot, а платформенные команды часто создают своих собственных с помощью инструментов с открытым исходным кодом, таких как Deep Agents. LangSmith отслеживает их все в одном месте, поэтому расходы и результаты pull-запросов собираются на одной панели управления, а не разбросаны по консолям разных поставщиков.

LangSmith для агентов по написанию кода поддерживает: Claude Code, OpenAI Codex, Cursor, GitHub Copilot в VS Code и Deep Agents для команд, создающих собственного агента по написанию кода.

Как команды могут использовать эти метрики

Создание возможностей для коучинга

Сортировка по атрибутированным затратам показывает, какие pull-запросы были самыми дорогими в создании, и каждый из них отслеживается до своих потоков, задействованных моделей и стоящего за этим пользователя GitHub. Открытие этих потоков показывает, почему PR стоил именно столько — например, поток, который постоянно разрастался, или использование передовой модели для мелкого исправления. Когда один инженер выполняет ту же работу с гораздо меньшими затратами, вы можете выяснить, что он делает иначе, и поделиться этим с командой.

Длинные потоки — еще одна область, где коучинг может дать положительный эффект. Расходы концентрируются в очень длинных потоках, так как каждый новый поворот диалога несет в себе весь контекст разговора. Оставлять один поток открытым для нескольких задач — привычка, к которой легко привыкнуть, и представление стоимости по длине потока показывает, какую долю ваших расходов составляют эти длинные потоки. Запуск нового потока позволяет не платить за этот контекст снова, и руководство Anthropic по стоимости Claude Code рекомендует очищать контекст между задачами по той же причине. Как только вы поделитесь этим руководством с командой, то же представление покажет, изменилась ли эта привычка на самом деле.

Измерение изменений модели

Когда выходит новая модель, вы можете увидеть, оправдывают ли ее результаты свою цену, сравнив стоимость одного объединенного PR до и после перехода команды на нее. Когда вы пробуете нового поставщика, вы можете запустить его параллельно с текущим и сравнить стоимость и результаты для обоих в одном представлении. Перенос под-агентов на более легкую модель, чем та, что управляет основным агентом, должно снизить затраты. Разбивка расходов по моделям показывает, сколько это сэкономило, а результаты показывают, продолжает ли работа объединяться.

Понимание того, на какие навыки полагаются ваши агенты

Вызовы навыков также отслеживаются, поэтому вы можете видеть, какие навыки агенты вашей команды используют чаще всего, и открывать потоки, где они выполнялись. Когда навык постоянно появляется в длинных, дорогих потоках, его инструкции могут заставлять агента совершать лишние действия, и переписывание инструкций может стать быстрым решением. Когда навык обычно появляется в коротких потоках, заканчивающихся объединенным PR, возможно, стоит внедрить его для большей части команды. Новый навык работает так же: внедрите его для нескольких инженеров, а затем сравните стоимость и объединенные PR потоков, которые его используют, с потоками, которые его не используют.

Предоставление инженерному и финансовому отделам единого представления о затратах

Показатель стоимости одного объединенного PR (pull request) позволяет финансовому отделу понять, во сколько обходится единица выполненной работы. LangSmith отображает этот показатель рядом с нераспределенными расходами — стоимостью сессий, которые не привели к созданию PR. Нераспределенные расходы все еще могут быть полезной работой, например, изучением кодовой базы или проверкой изменений, поэтому команда с высокими показателями стоимости одного объединенного PR все равно может использовать эффективные подходы. Когда стоимость резко возрастает или падает, инженерная команда может открыть цепочки обсуждений, стоящие за этими задачами, и показать, на что были потрачены средства.

Начало работы

LangSmith for Coding Agents находится в стадии публичного бета-тестирования в LangSmith Cloud. Трассировки агентов кодирования учитываются в рамках вашего обычного использования трассировки LangSmith.

Настройка состоит из трех шагов:

  • Установите плагин LangSmith для каждого агента кодирования, который использует ваша команда. Плагины доступны для следующих агентов: Claude Code, OpenAI Codex, Cursor, GitHub Copilot, Deep Agents
  • Claude Code
  • OpenAI Codex
  • Cursor
  • GitHub Copilot
  • Deep Agents
  • Подключите GitHub.
  • Откройте страницу обзора агентов кодирования в LangSmith.

В Claude Code, например, plugin устанавливается с помощью трех команд, запущенных внутри сессии.

Начните с одного агента и одного репозитория, и вы увидите распределение расходов по pull request сразу после появления первых цепочек обсуждений. Узнайте больше в документации.

Что дальше

Мы только начинаем! Следите за появлением новых специализированных функций для агентов кодирования в LangSmith. Есть вопросы или идеи о том, что отслеживать дальше? Поделитесь ими на форуме LangChain.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
H2O.ai назначает Стивена Ваттуоне на должность финансового директора
H2O.ai

H2O.ai назначает Стивена Ваттуоне на должность финансового директора

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant
Qdrant

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ
AI2 (Allen Institute for AI)

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ

Модели временных рядов в Streamhouse: новые горизонты и варианты использования
Hugging Face

Модели временных рядов в Streamhouse: новые горизонты и варианты использования

Rumble-2-Flash: открытая речевая модель 0.5B для 40+ языков
Hugging Face

Rumble-2-Flash: открытая речевая модель 0.5B для 40+ языков

Компактные настольные ПК NVIDIA RTX Spark уже в продаже
NVIDIA

Компактные настольные ПК NVIDIA RTX Spark уже в продаже

Ещё от LangChain

Защита конфиденциальных данных в трассировках: новые средства управления в LangSmith
LangChain

Защита конфиденциальных данных в трассировках: новые средства управления в LangSmith

Что мы узнали при создании проактивных агентов
LangChain

Что мы узнали при создании проактивных агентов

Почему мы перестроили LangSmith вокруг агента
LangChain

Почему мы перестроили LangSmith вокруг агента

От задач к целям
LangChain

От задач к целям

Инженерия целей
LangChain

Инженерия целей

Стартап в сфере ИА-агентов LangChain достиг оценки в $3 млрдПресса
LangChain

Стартап в сфере ИА-агентов LangChain достиг оценки в $3 млрд