Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak my doobuchili bolee bystruyu model dlya patterns na baseten
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как мы дообучили более быструю модель для Patterns на Baseten

Источник: Datadog•18 ноября 2026 г. в 19:50

Как мы дообучили более быструю модель для Patterns на Baseten

Datadog дообучила модель суммаризации, используя рабочие трассировки, что позволило сократить среднее время генерации примерно с 45 секунд до менее чем одной секунды.

Datadog Agent Observability включает в себя Patterns — функцию, которая группирует рабочие LLM-трафики приложения по схожим темам. Перед кластеризацией Patterns использует LLM для суммаризации каждого выбранного взаимодействия. Мы обнаружили, что суммаризация составляет около 80% стоимости p99 и 50% задержки p90 при запуске Patterns. Написание каждого резюме — простая задача. Patterns считывает одно взаимодействие, следует короткой инструкции по кластеризации и пишет предложение. Собственные вызовы LLM в Patterns записываются в Agent Observability, поэтому у нас уже было много примеров работы суммаризатора.

Мы использовали pup finetune, новое расширение CLI Pup от Datadog, чтобы превратить эти LLM-спаны в обучающий набор данных. Затем мы дообучили Qwen 3.5 9B на Baseten’s Loops SDK и сравнили её с базовой моделью с помощью Datadog Offline Experiments. Кодирующий агент управлял рабочим процессом через навык pup finetune и останавливался для получения нашего одобрения перед каждым платным шагом. На 150 отложенных тестовых примерах ответы дообученной модели проходили проверку нашим LLM-судьей в 93% случаев по сравнению с 45% для базовой модели, которая часто исчерпывала токены до того, как успевала написать резюме. Среднее время генерации на один случай сократилось примерно с 45 секунд до менее чем одной секунды.

В этой статье мы объясним:

  • Почему суммаризация замедляла Patterns

Почему суммаризация замедляла Patterns

  • Как кодирующий агент управлял рабочим процессом с помощью навыка pup finetune

Как кодирующий агент управлял рабочим процессом с помощью навыка pup finetune

  • Как мы создали обучающий набор данных из наших рабочих LLM-спанов

Как мы создали обучающий набор данных из наших рабочих LLM-спанов

  • Как мы протестировали базовую модель и дообучили её на Baseten

Как мы протестировали базовую модель и дообучили её на Baseten

  • Как мы проверили дообученную модель с помощью Offline Experiments

Как мы проверили дообученную модель с помощью Offline Experiments

Почему суммаризация замедляла Patterns

Patterns помогает командам анализировать рабочие взаимодействия их агентов и находить пробелы в наборах данных для автономной оценки. Вы можете направлять анализ с помощью инструкции по кластеризации, например: «Кластеризовать на основе намерения пользователя». Каждый выбранный спан или трассировка сначала сжимается в краткое резюме, которое следует этой инструкции. Затем кластеризация выполняется на основе комбинации текстовых эмбеддингов и вызовов LLM для этих резюме.

Запуск Patterns может обрабатывать тысячи трассировок агентов, каждая из которых может содержать несколько мегабайт промптов, вызовов инструментов и ответов. Отправка каждой из них в передовую модель сделала суммаризацию самым дорогим этапом конвейера и одним из самых медленных. На схеме ниже показан конвейер Patterns. Суммаризация составляет около 80% стоимости p99 и около 50% задержки p90 до начала какой-либо кластеризации.

Суммаризация одного взаимодействия в соответствии с одной инструкцией — это повторяющаяся задача с четко ожидаемым результатом. Меньшая модель, которая видела много примеров выполнения этой задачи, должна быть способна выполнять её точно, быстрее и с меньшими затратами.

Как кодирующий агент управлял рабочим процессом с помощью навыка pup finetune

Дообучение состоит из множества шагов, и каждый из них требует принятия решений. Вы выбираете, какие спаны извлечь, какие строки оставить, с какой базовой модели начать, когда остановить обучение и как сравнить результат с базовой моделью. Мы создали pup finetune так, чтобы кодирующий агент мог выполнять эти шаги, пока вы принимаете решения.

Навык направляет агента через каждый шаг

Запустите pup finetune skill install, чтобы установить навык datadog-finetune для вашего кодирующего агента. Он использует npx skills add для выбранных вами агентов, таких как Claude Code, или копирует навык в проект. Затем вы описываете цель:

Используйте навык datadog-finetune для дообучения модели на LLM-спанах ml_app <ML_APP>.

Навык проводит агента через эти шаги по порядку, с проверкой после каждого из них:

  • Проверка настройки.

Проверка настройки.

  • Изучение спанов.

Изучение спанов.

  • Извлечение и проверка набора данных.

Извлечение и проверка набора данных.

  • Отправка в Datadog.

Отправка в Datadog.

  • Бенчмаркинг и обучение.

Бенчмаркинг и обучение.

  • Оценка.

Оценка.

  • Развертывание.

Развертывание.

Как только дообученная модель развернута на Baseten, Agent Observability записывает вызовы вашего приложения к ней как LLM-спаны. Вы можете наблюдать, как модель работает в рабочей среде, и при следующем обучении вы извлекаете эти трассировки в следующий набор данных.

Каждая команда pup finetune возвращает JSON с точной следующей командой, поэтому агент всегда знает, что запускать. Он также считывает ошибки из результата, вместо того чтобы угадывать.

Навык позволяет вам контролировать расходы и данные

Навык направляет агента через рабочий процесс. Для платных или удаленных команд он не добавит --confirm без вашего явного одобрения. Перед отправкой трассировок поставщику модели он запрашивает разрешение и никогда не запрашивает ключи API в чате. Агент использует имена приложений, модели и пороговые значения, которые вы предоставляете или которые появляются в предыдущих результатах, вместо того чтобы угадывать их. Он обрабатывает содержимое трассировки как данные, поэтому инструкции внутри трассировки не могут повлиять на его действия.

Перед каждым платным шагом агент показывает вам предварительный просмотр в том же четырехстрочном формате и ждет вашего ответа:

Запуски: <что делает --confirm>

Отправляет: <каждому получателю данных>

Стоимость: <за что выставляет счет провайдер и лимиты>

Команда: <точная команда>

Запустить?

Для суммаризатора Patterns агент создал и проверил набор данных, запустил бенчмарк, а также обучил и оценил модель. Мы одобряли каждый платный шаг. Разделы ниже следуют в том же порядке.

Как мы создали обучающий набор данных из наших рабочих LLM-спанов

Каждый вызов, который делает суммаризатор Patterns, записывается в Agent Observability как LLM-спан. Взаимодействие и инструкция по кластеризации поступают на вход, а резюме выходит на выходе. Чтобы создать набор данных, агент запустил pup finetune dataset pull, который считывает эти спаны. Он превращает каждый из них в обучающий диалог с теми же входными сообщениями и резюме в качестве целевого ответа.

pup finetune dataset pull datasets/patterns-summaries --ml-app <PATTERNS_APP> --from 30d --target-count <ROWS> --max-rows-per-trace <N>

Мы смешали несколько инструкций по кластеризации

Модель, обученная на одной инструкции, изучает эту инструкцию. Мы хотели, чтобы наша модель изучила задачу суммаризации, поэтому мы создали набор данных из запусков Patterns, которые использовали несколько разных инструкций по кластеризации. Каждый пример связывает взаимодействие и его инструкцию с резюме, которое передовая модель написала для этой комбинации.

Мы исключили тестовые трассировки из обучающего набора

Расширение pup finetune распределяет строки по обучающим, валидационным и тестовым выборкам по трассировкам, поэтому все строки одной трассировки попадают в одну выборку, а повторяющиеся копии одного и того же запроса также попадают в одну выборку. Это предотвратило утечку между обучающими данными и тестовым набором, что сделало бы результаты лучше, чем они были на самом деле. Вы также можете ограничить количество строк на трассировку, чтобы несколько очень активных трассировок не доминировали в наборе данных.

Агент упрощает проверку строк

Команда pup finetune dataset sample --markdown записывает удобный для чтения файл рецензирования с каждой выборкой разговора целиком. Агент может провести вас по образцам, предложить, оставить или удалить каждый из них, и записать принятые вами решения. Для более крупных проверок несколько моделей-судей могут размечать строки в соответствии с рубрикой.

Как только строки будут выглядеть правильно, команда pup finetune dataset push превращает их в версионированный датасет в Agent Observability. Оттуда вы можете курировать датасет в интерфейсе Datadog, как и любой другой датасет для оценки. Затем команда pup finetune dataset fetch возвращает курированную версию обратно для обучения.

Ниже приведен пример датасета, отправленного с помощью pup finetune. Каждая запись содержит входные сообщения и ожидаемый ответ.

Как мы провели бенчмаркинг базовой модели и дообучили ее на Baseten

Прежде чем платить за обучение, мы хотели узнать, насколько хорошо базовая модель справляется без fine-tuning. Команда pup finetune benchmark воспроизводит отложенные тестовые случаи с одной или несколькими базовыми моделями на Baseten. Затем LLM-судья решает, является ли каждый ответ приемлемой заменой записанному. Каждый неудачный случай возвращается с указанием причины, чтобы агент мог сообщить, почему базовая модель потерпела неудачу.

У базовой модели часто заканчивались токены до того, как она давала ответ

Мы обнаружили, что проблема базовой модели заключалась в ее бюджете токенов, а не в качестве ее саммари. Qwen 3.5 9B часто тратила весь бюджет на рассуждения до того, как написать саммари. Когда она все же заканчивала, ее саммари были хорошими, но генерация происходила медленно.

Это указывало на проблему, для решения которой отлично подходит тонкая настройка (fine-tuning). Модель уже умела выполнять задачу, но не так, как нам было нужно. Ей нужно было отвечать напрямую, с помощью краткого саммари, подобно тем, которые создает наш текущий саммарайзер.

Мы обучили LoRA-адаптер на Baseten

Команда pup finetune train выполняет fine-tuning LoRA-адаптера (low-rank adaptation), используя Baseten Loops, API для обучения от Baseten. После каждой эпохи она измеряет потерю (loss) на валидационной выборке, досрочно завершает обучение, когда валидационная потеря перестает улучшаться, и сохраняет чекпоинт лучшей эпохи.

Каждый платный шаг в pup finetune начинается с предпросмотра, показывающего, за что будут выставлены счета и куда пойдут данные. Агент запускает шаг только после вашего одобрения. Вы также можете ограничить запуск обучения с помощью --max-train-tokens или --max-spend-usd. Флаг --max-spend-usd ограничивает примерную стоимость на основе указанной вами почасовой ставки, а не счета провайдера.

Ниже приведен пример логов обучения в интерфейсе Baseten для демонстрационного прогона из двух эпох на синтетическом датасете. Каждая эпоха сообщает о своих обучающих и валидационных потерях и сохраняет чекпоинт. Запуск сохраняет эпоху с наилучшей валидационной потерей.

Как мы проверили дообученную модель с помощью Offline Experiments

Команда pup finetune evaluate воспроизводит каждый тестовый случай как с базовой, так и с дообученной моделью. Судья решает, является ли каждое новое саммари приемлемой заменой тому, которое написала передовая модель. Перед выставлением оценки судья должен пройти проверку. На четырех тестовых случаях он должен принять записанный ответ и отклонить две намеренно поврежденные версии.

Дообученная модель завершила каждый ответ

Мы оценили обе модели на 150 отложенных тестовых случаях, взятых из пяти трейсов, не использовавшихся в обучении. Каждый дообученный ответ был завершен и успешно распарсен (150 из 150), по сравнению с 48% ответов базовой модели (72 из 150). Ответы дообученной модели прошли проверку судьей в 93.3% случаев (140 из 150), по сравнению с 44.7% у базовой модели (67 из 150).

На выделенных сэмплерах Baseten среднее время генерации на один случай также сократилось с 44.7 секунды до 0.89 секунды, то есть примерно в 50 раз быстрее.

Мы сравнили оба прогона в Offline Experiments

Оба прогона были опубликованы в Datadog как эксперименты на отправленном нами датасете, чтобы мы могли сравнить их бок о бок и изучить отдельные случаи. Когда судья не принимает ответ, в эксперименте также фиксируется причина. Ответы, превысившие лимит токенов, отмечаются как обрезанные (cut off).

В приведенном ниже примере сравниваются прогон дообученной модели и базовый прогон в Offline Experiments. Каждый ответ был корректным, 93.3% прошли проверку судьей, а средняя продолжительность снизилась на 43.8 секунды.

Дообученная модель также показала способность к обобщению для различных инструкций по кластеризации, что свидетельствует о том, что она научилась именно обобщать и создавать саммари, а не просто следовать одной конкретной инструкции.

Что мы узнали о fine-tuning на наших собственных трейсах

Спаны нашего саммарайзера предоставили нам исходный материал для датасета, так как вызовы LLM в Patterns уже были инструментированы. Предварительный бенчмаркинг показал, что проблема базовой модели заключалась в завершении ответа, а не в самом суммаризировании: в 78 из 83 сбоев закончились токены или ответ не удалось распарсить. После fine-tuning каждый ответ завершался в рамках лимита токенов, а уровень успешного прохождения соответствовал показателям базовой модели для тех ответов, которые она успевала завершить. Среднее время генерации также сократилось до менее чем одной секунды.

Предоставление кодинг-агенту возможности управлять pup finetune через skill также изменило то, на что уходило наше время. Агент выполнял команды, читал каждый результат и проверял каждый шаг, в то время как мы тратили время на принятие решений: какие строки оставить, какую модель обучать и оправдались ли результаты.

Начните работу с pup finetune

Вы можете посмотреть расширение pup finetune на GitHub. Чтобы попробовать его с вашим собственным кодинг-агентом, выполните pup finetune skill install и попросите агента выполнить fine-tuning модели на LLM-спанах вашего приложения. Если вы еще не инструментировали свои приложения и агентов, начните с руководства по быстрому старту Agent Observability.

Вы стартап? Подходящие компании получают год бесплатных кредитов Datadog. Подайте заявку на участие в программе Datadog for Startups.

Если вы еще не являетесь клиентом Datadog, зарегистрируйтесь для получения бесплатной 14-дневной пробной версии.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Представляем тарифный план Launch
Datalab

Представляем тарифный план Launch

Стратегия работы с данными против стратегии ИИ: одно и то же?
Starburst

Стратегия работы с данными против стратегии ИИ: одно и то же?

Как компании реализуют управление ИИ на практике?
Starburst

Как компании реализуют управление ИИ на практике?

Почему важны «ограждения» (guardrails) для ИИ
Starburst

Почему важны «ограждения» (guardrails) для ИИ

Корпоративному ИИ нужно нечто большее, чем онтология. Ему нужен контекстный слой, предоставляемый во время выполнения запроса.
Starburst

Корпоративному ИИ нужно нечто большее, чем онтология. Ему нужен контекстный слой, предоставляемый во время выполнения запроса.

Корпоративному ИИ нужен доступ к данным и контексту. Ваша платформа может поручиться только за свой собственный.
Starburst

Корпоративному ИИ нужен доступ к данным и контексту. Ваша платформа может поручиться только за свой собственный.

Ещё от Datadog

Как мы создали агентскую систему поиска уязвимостей в Datadog
Datadog

Как мы создали агентскую систему поиска уязвимостей в Datadog

Используйте Datadog BYOC для ваших локальных данных с помощью MinIO AIStor
Datadog

Используйте Datadog BYOC для ваших локальных данных с помощью MinIO AIStor

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines
Datadog

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog
Datadog

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище
Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2
Datadog

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2