Представляем LangSmith Fine-Tuning

Сегодня мы запускаем LangSmith Fine-Tuning и smithtune — интерфейс командной строки (CLI), который помогает командам превращать траектории LangSmith в пользовательские дообученные модели для своих агентов. Он управляет всем процессом дообучения с помощью одной команды CLI: создание и подготовка наборов данных из траекторий LangSmith, обучение с использованием Fireworks или Baseten, а также оценка с помощью LangSmith. Вы можете запускать smithtune напрямую или поручить вашему агенту по кодированию выполнять команды и проверять результаты.

smithtune создан для пост-тренинга моделей. В настоящее время он поддерживает контролируемое дообучение (supervised fine-tuning, SFT), которое обучает модель на примерах правильного поведения. Вы предоставляете модели входные и выходные данные, и она учится, обновляя веса модели для имитации такого поведения. Данные траекторий LangSmith разработаны с расчетом на поддержку SFT, а smithtune помогает превратить эти траектории в полезные обучающие данные.

Это дает командам возможность обучать специализированные модели без ручного создания конвейера данных. Модель, обученная на ваших примерах, часто может работать так же хорошо или лучше, чем универсальная передовая модель при решении определенных задач, и при этом часто обходится дешевле и имеет меньшую задержку.

Попробуйте LangSmith Fine-Tuning на GitHub и позвольте вашему агенту по кодированию управлять процессом дообучения от начала и до конца, установив скилл smithtune из репозитория.

Одним из главных драйверов повышения эффективности дообучения является выбор данных. С запуском smithtune стало проще замкнуть этот цикл — от отобранных производственных трассировок в LangSmith до управляемого обучения и развернутой модели в Fireworks. Команды могут беспрепятственно переходить от данных к обучению и развертыванию, не разстраивая при этом собственную инфраструктуру. Мы очень рады развивать это направление вместе с LangChain.‍

– Пранав Джайн (Pranav Jain), руководитель по продукту в Fireworks

Интеграция smithtune с Baseten Loops позволяет командам легко переходить от сбора данных к запуску экспериментов по дообучению за считанные минуты. Разработчики могут непрерывно собирать и отбирать лучшие данные для создания более качественных моделей с течением времени благодаря полностью управляемой инфраструктуре обучения, которую предоставляет Loops, что позволяет им сосредоточиться на проектировании под свои важнейшие клиентские сценарии. ‍

– Арон Эллис-Блур (Aaron Ellis-Bloor), прикладной исследователь в Baseten

Траектории агентов и пост-тренинг

Прежде чем углубляться в возможности, которые предоставляет smithtune, давайте сначала обсудим траектории агентов.

Траектория — это упорядоченная последовательность сообщений, вызовов инструментов и результатов работы инструментов, которая показывает, как агент справлялся с задачей. LangSmith собирает эту последовательность из трассировки или потока (thread), приводит поддерживаемые форматы сообщений к общему представлению, сохраняет определения инструментов и удаляет дублирующуюся историю.

Формат траекторий LangSmith был разработан с учетом требований пост-тренинга. Для SFT модель-ученик нуждается в том же самом контексте, который был у модели-учителя при получении успешного результата. В сложных долго работающих агентах контекст доступности инструментов часто меняется по мере работы агента (например, отложенная загрузка инструментов), и простой экспорт списка финальных сообщений упускает этот нюанс. Формат траекторий LangSmith точно фиксирует то, что модель видела на каждом шаге, поэтому smithtune может связать каждое действие с его истинным контекстом.

smithtune использует траектории на протяжении всего рабочего процесса. вы отбираете успешные траектории-примеры, подготавливаете их для выбранной модели и обучаетесь на их записанных ответах и вызовах инструментов. Траектории, оставленные вне обучающей выборки, обеспечивают контекст и эталонные действия для оценки.

Пошаговое руководство

Создайте набор данных

Набор данных содержит «эталонные» (golden) траектории, которым будет соответствовать целевая модель. Эти данные служат основой для контролируемого дообучения.

Создание набора данных с помощью smithtune включает несколько ключевых этапов:

• Получение набора данных (Pull Dataset): smithtune извлекает траектории из проекта трассировки LangSmith в локальный каталог DIR с возможностью применения фильтров.
• Маркировка трассировок (Label Traces): smithtune работает с людьми (и их агентами) для выявления характеристик «хороших» трассировок, создания на основе этого критериев оценки, а затем отправляет совет агентов для проверки и фильтрации траекторий, являющихся хорошими кандидатами для SFT.
• Сохранение постоянного набора данных: smithtune гарантирует, что любые данные, используемые для обучения, в дальнейшем могут быть проверены в качестве постоянного артефакта. Он выгружает согласованный набор эталонных траекторий в набор данных LangSmith для обучения и оценки.

В процессе работы smithtune обрабатывает такие детали, как:

• проверка совместимости траекторий с выбранной моделью путем фильтрации трассировок, выходящих за рамки заданной длины последовательности;
• разделение данных на обучающую, проверочную и тестовую выборки (train/val/test) для последующей оценки.

Обучите модель

Прежде чем приступать к обучению, план smithtune помогает людям проверить такие настройки, как выбранная модель, количество обучающих примеров и гиперпараметры, такие как скорость обучения (learning rate), размер пакета (batch size) и количество эпох (epochs).

Вы можете скорректировать эти настройки перед запуском smithtune train для запуска процесса дообучения. smithtune отправляет задачу в Fireworks managed SFT или Baseten Loops, которые поддерживают обучение LoRA на ваших подготовленных траекториях. С вашей стороны не требуется выделение графических процессоров (GPU) или управление инфраструктурой обучения. Во время обучения smithtune также проверяет производительность на проверочной выборке и выбирает сохраненную контрольную точку (checkpoint) с наименьшими потерями на валидации (validation loss).

Оцените результат

После завершения обучения запустите smithtune evaluate, чтобы сравнить выбранную контрольную точку с базовой моделью.

smithtune использует встроенную оценку на основе воспроизведения (replay evaluation) для сравнения базовой и дообученной моделей. Модели оцениваются по способности выполнять действия из эталонной траектории, а судья (judge) оценивает эти прогнозы по сравнению с истинными записанными примерами.

Интерфейс командной строки возвращает ссылку на сравнение в LangSmith, а результаты отображаются по мере выполнения оценки. Вы можете сравнить оценки, изучить отдельные ответы и выбор вариантов инструментов, а также увидеть, где дообучение помогло или привело к ухудшению результатов (регрессии).

Разверните вашу модель

Если вы довольны результатами оценки, используйте smithtune deploy, чтобы развернуть дообученную модель и подключить ее к вашему приложению.

Если результаты не оправдали ваших ожиданий, доработайте набор данных или настройте параметры обучения, а затем снова запустите обучение и оценку. Вы можете просмотреть результаты сравнения в LangSmith вместе с вашим агентом по кодированию, чтобы определить, какие ответы или выбор инструментов требуют доработки.

Результаты практического применения

Чтобы оценить качество нашего процесса smithtune, мы применили его к двум активно используемым агентам в LangChain:

• Engine анализирует трассировки агентов для поиска сбоев и группировки связанных проблем. Используя упрощенную версию одного из агентов в Engine, мы проверили, сможет ли SFT улучшить его способность выявлять и организовывать эти проблемы.
• OpenSWE Review проверяет изменения кода в наших реальных репозиториях. Мы проверили, сможет ли SFT сохранить качество проверки при одновременном снижении объема работы, необходимого для поиска ошибок.

Engine: повышение эффективности решения задач за счет специализации

Мы отобранно собрали набор хороших траекторий и использовали их для дообучения базовой модели Kimi K3. Базовая модель Kimi уже была мощной, но мы исчерпали возможности дальнейшего улучшения её или GPT-5.6 Sol с помощью инженерии обвязок (harness engineering). Дообученная модель набрала баллы значительно выше как базовой Kimi, так и GPT-5.6 Sol на подмножестве IssueBench — нашего внутреннего бенчмарка для обнаружения и группировки проблем.

OpenSWE Review: аналогичное качество при меньшем числе вызовов

Мы также оценили Qwen-3.8-27B на внутреннем наборе данных для оценки реальных пулл-реквестов, который используется для измерения качества код-ревью и обнаружения багов. В этом сравнении SFT повысила показатель F1 с 48,9% до 53,7%, при этом используя на 29,8% меньше вызовов модели и на 29.4% меньше запросов к инструментам.

Более ранний и менее избирательный обучающий набор снизил показатель F1 после SFT. Затем мы вернулись к нашему пайплайну отбора данных и добавили этап ревью для каждой трассировки (Trace), стремясь делать оверсэмплинг трассировок, где агенты считали, что потенциальные проблемы действительно существуют.

Практическая выгода заключается в аналогичном качестве ревью при меньшем числе вызовов модели и инструментов. Это означает более дешевый результат одного ревью и более быстрое время проведения ревью для каждого PR.

Рекомендации по дообучению (post-training)

Когда SFT имеет смысл

SFT особенно полезна, когда ваше приложение выполняет повторяющиеся задачи и у вас есть примеры того, как оно должно себя вести. Ищите устойчивые паттерны, которым вы хотите научить модель, такие как следование рабочим процессам, использование результатов работы инструментов для принятия решений о дальнейших шагах и проверка собственной работы.

Мы рекомендуем командам начинать с инженерии обвязок, чтобы понять, обеспечивает ли лучшая обвязка хорошую производительность. Если агенты по-прежнему совершают повторяющиеся ошибки в задачах, и у вас есть траектории, показывающие, как правильно выполнять эти задачи, тогда SFT — отличный кандидат для тестирования.

Выбор данных

Мы постоянно убеждаемся, что самые успешные запуски дообучения получаются благодаря инвестициям времени в отбор данных для обучения. smithtune явно помогает пользователям работать со своими данными с помощью агентов, и мы обнаружили, что привлечение экспертов предметной области к совместной с агентами работе по проверке трассировок для SFT повышает шансы на успешные результаты дообучения.

Начало работы с LangSmith Fine-Tuning

LangSmith Fine-Tuning теперь доступна в формате публичной бета-версии. Чтобы начать работу, вам понадобятся:

• Учетная запись LangSmith с трассировками вашего агента
• Ключ API для Fireworks или Baseten
• Интерфейс командной строки smithtune (CLI)

Попробуйте smithtune на GitHub и дайте нам знать, что вы бы хотели увидеть в дальнейшем. Мы будем рады вашим отзывам по мере совершенствования рабочих процессов дообучения в LangSmith.

Начните работу с LangSmith Fine-Tuning на GitHub.