Сочетание обучения с подкреплением (RL) на пользовательском распределении задач с вашим любимым агентным харнасом позволяет получить более точные и эффективные модели для этого целевого харнаса и распределения задач.
Модели не полностью оптимизированы для всех харнасов и выполняемых вами задач. Вместо этого они ориентированы на общую производительность. Поэтому, когда вы объединяете модель и харнас, вы упускаете производительность и эффективность для тех задач, которые вы действительно выполняете. С помощью RL вы можете обучить пользовательский адаптер харнаса, который выжмет максимум из вашей комбинации модели, харнаса и задач.
Возьмем Qwen3.8-27B: ее оценка на Terminal-Bench 2.1 с харнасом pi составляет 39%, при этом в среднем используется 2,9 тыс. токенов на задачу. Если мы зафиксируем эти веса и добавим пользовательский LoRA-адаптер, обученный с помощью RL, мы сможем получить 55% pass@1 при среднем использовании токенов 1,5 тыс. Большая часть этого достигается за счет того, что модель меньше рассуждает, реже вызывает инструменты и лучше справляется с задачей с первой попытки.
Наша предыдущая работа (многохарнасный RL, адаптеры харнасов) показала, что RL на вашем собственном распределении задач внутри вашего собственного харнаса дает более точную и эффективную модель. В этих экспериментах рассматривались задачи анализа данных и написания кода. Здесь мы хотели пойти дальше, исследуя, сохраняется ли результат при 27B на более сложных реальных задачах программной инженерии в трех харнасах: Pi, OpenCode и Hermes Agent. И самое главное — поделиться полностью готовым к повторному использованию рецептом, чтобы вы могли воспроизвести это на собственных комбинациях задач, харнасов и моделей.
Кратко (TL;DR)
- Мы обучили один LoRA-адаптер для Qwen3.8-27B для каждого агентного харнаса (pi, Hermes Agent, OpenCode) с помощью RL непосредственно внутри самого харнаса.
- Наборы данных, обучение и запуски агентов происходят на Hub в Jobs с использованием TRL AsyncGRPOTrainer, OpenEnv и harbor.
- Каждый адаптер харнаса превосходит базовую модель под управлением собственного харнаса на обоих бенчмарках как по производительности, так и по эффективности.
- Три LoRA также объменены в единый суперадаптер, который работает без изменений под управлением pi, Hermes Agent и OpenCode.
- Все артефакты (адаптеры, GGUF, задачи RL, плагин safeagents) доступны для просмотра в этой коллекции Hugging Face.
Содержание
- Обучение внутри агентных харнасов
- Генерация пользовательских задач RL на Hugging Face
- Тестирование фильтров с помощью коротких прогонов обучения
- AsyncGRPOTrainer для более эффективного обучения GRPO
- Настройка обучения
- Суперадаптер: объединение всех адаптеров в один
- Итоговые результаты
- Открытый вопрос: чему на самом деле научилась модель?
- Заключительные слова и направления на будущее
Обучение внутри агентных харнасов
Мы используем интеграцию Harbor в OpenEnv и руководство по OpenEnv от TRL для обучения модели внутри харнасов, выбранных нами для финального обучения. Мы создали готовые к использованию образы docker для всех наших задач RL, в которые уже предварительно встроены целевые харнасы. В наших финальных образах docker мы используем Pi 1.5.2, OpenCode 2.2.7 и Hermes Agent v0.22.6. Приведенная ниже схема из упомянутого выше блога хорошо объясняет весь протокол:
Большинство фреймворков RL обучают собственную реализацию цикла агента: агент написан под собственный интерфейс фреймворка, такой как verl's AgentLoop, SkyRL-Gym среды, классы агента и среды rLLM, пользовательские функции запуска slime или клиент ART внутри вашего собственного Python-агента. Здесь харнас работает в точности так, как поставляется, а обучающая программа учится на тех самых токенах, которые он создал, записанных прокси-сервером между харнасом и vLLM. Недавние работы движутся в том же направлении: Agent Lightning v1.0 сохраняет харнас времени развертывания в цикле через прокси («harnessed agentic RL»), а интеграция Harbor в SkyRL обучается на пробных запусках Harbor, преобразуя их историю чата в токены для тренера.
Генерация пользовательских задач RL на Hugging Face
Для этого рецепта мы создали пользовательский набор данных для агентного кодинга с использованием Hub, OpenEnv и Repo2RLEnv. Мы объединили поиск существующих сред RL, генерацию задач с помощью Repo2RLEnv, валидацию задач с помощью OpenEnv и выборку в единый конвейер данных. Это дало нам набор проверенных и актуальных задач высочайшего качества для улучшения Qwen3.8-27B в области агентного написания кода.
Обучение с подкреплением требует задач, которые агент может попытаться решить, верификатора, который оценивает каждую попытку, и доказательств того, что верификатор прав. Верификатор, который принимает неверные ответы, обучает неправильному поведению. Задача, которая уже является выполнимой, ничему модель не научит.
В этом разделе описывается, как мы создали набор задач из трех источников: двух на Hugging Face Hub и третьего, сгенерированного с помощью Tasksmith, конвейера в Repo2RLEnv. Каждая задача проходит проверку на соответствие требованиям с помощью openenv validate и ту же проверку сложности против базовой модели Qwen3.8-27B.
Три источника
Каждая задача использует формат Harbor, который также применяется в Terminal-Bench 2.1. Широкий поиск сред Harbor на Hub вернул около 59 000 задач, но они включали дубликаты, оценочные наборы и задачи, помеченные как не предназначенные для обучения. Мы отфильтровали их до двух источников Hub, созданных для обучения, и сгенерировали третий набор самостоятельно:
- SWE-smith (Python, Go) внедряет ошибки в реальные репозитории Python и Go с помощью перезаписи LLM или мутации, такой как инвертированный оператор. Тесты, которые ловят каждую ошибку, становятся тестами задачи. Это добавляет объем.
- SWE-Gym, упакованный как задачи Harbor в TaskTrove, превращает реальные проблемы GitHub и их объединенные исправления в задачи. Это добавляет реальные ошибки.
- Tasksmith генерирует задачи из объединенных пулл-реквестов. Агент LLM пишет инструкции и тесты, а Tasksmith проверяет результат: эталонное и допустимое альтернативное решения должны пройти проверку, в то время как неисправный код и известное неверное решение должны провалиться.
Мы использовали Tasksmith для устранения пробелов. Мы сопоставили навыки, которые проверяют наши целевые бенчмарки (Terminal-Bench 2.1, сложная подмножество SWE-bench Pro и DeepSWE), а затем выбрали пулл-реквесты, которые их задействуют, такие как потоковая передача HTTP, операции с файловой системой и сериализация. Из 30 объединенных пулл-реквестов Tasksmith создал 24 задачи в 10 репозиториях Python, которые прошли его проверки, 17 из них — со второго запуска. Его проверки не заменяют наши, поэтому эти задачи проходят через тот же конвейер, что и остальные.
Валидация с помощью openenv validate
Сначала запускается проверка метаданных. Она сохраняет задачи из обучающих выборок с разрешающими лицензиями. Она удаляет дубликаты, задачи, помеченные как не предназначенные для обучения, 253 задачи в наших целевых бенчмарках, а также любые задачи из репозиториев, используемых этими бенчмарками. Затем мы запустили семантические проверки из openenv validate для каждой задачи в новых прогонах:
- Эталонное решение получает максимальную награду (semantic.oracle_max).
- Ничего не делая, можно получить значительно меньший балл (semantic.floor_gap).
- Ни один канал (canary) не набирает больше, чем ничего не делать (semantic.canary_floor).
- Повторный запуск эталона дает ту же награду (runtime.episode_determinism).
Каждый прогон выполнялся как отдельное задание Hugging Face Job, что позволило нам проверять десятки задач одновременно. openenv validate предлагает ту же опцию для любой задачи Harbor:
858 кандидатов Hub из 1,127 прошли отбор. Элементы контроля правильности ответов выявили дефекты, включая задачу Tasksmith, которая принимала неполную реализацию, и верификатор Terminal-Bench 2.1 (regex-log), принимавший заведомо неверные ответы. Большинство сбоев были связаны с проблемами инфраструктуры, такими как незапускающиеся образы. Непрошедшие задачи остаются в отклоненной выборке с зафиксированной ошибкой проверки.
Проверка сложности с базовой моделью
Важная задача все равно может ничему не научить. Алгоритм GRPO (group relative policy optimization) оценивает каждую попытку путем сравнения с другими попытками решения той же задачи, поэтому задача, в которой успешны абсолютно все или абсолютно провальны все попытки, не дает обучающего сигнала. Перед началом обучения модель Qwen3.8-27B предприняла по 4 попытки решения для каждой задачи (или по 8 попыток для стратифицированной выборки из шести задач на репозиторий).
Из 442 оцененных задач модель Qwen3.8-27B успешно решила 151 задачу во всех попытках и ни разу не справилась со 120 задачами. 171 задача, решенная лишь в некоторых попытках, образует квалифицированную выборку. На рисунке ниже показано, как распределяются оценки на обоих концах спектра и чем они отличаются в зависимости от источника. Модель успешно справляется с большинством задач Go в каждой попытке, проваливает все попытки более чем на трети задач SWE-smith Python и попадает в среднюю категорию по 73% задач SWE-Gym.
Результаты Qwen3.8-27B на 442 оцененных задачах. Зеленым цветом отмечены квалифицированные задачи, которые модель решает в некоторых попытках, но не во всех.
Этот пример показывает, как мы отфильтровали и проверили 1,127 задач, сократив их до 278, которые были включены напрямую в итоговый датасет. Затем конвейер взял оставшиеся 522 отклоненные задачи, исправил и усложнил их с помощью Tasksmith, после чего повторил валидацию.
Тестирование фильтров на коротких циклах обучения
Конвейер применяет два фильтра: валидация удаляет поврежденные задачи, а проверка сложности сохраняет те задачи, которые базовая модель решает лишь в некоторых случаях. В этом разделе проверяется, влияют ли данные фильтры на то, чему обучается модель. Мы провели четыре коротких цикла обучения длительностью до 50 шагов каждый на задачах из разных этапов конвейера и сравнили их с базовой моделью на бенчмарке Terminal-Bench 2.1.
В каждом цикле модель Qwen3.8-27B обучается с использованием LoRA и GRPO (применяется AsyncGRPOTrainer из TRL) на 32 задачах. Во всех четырех случаях используются одинаковая обвязка агента (OpenCode с количеством вызовов модели до 48), те же настройки и один рабочий узел 8×H200 Hugging Face Job, а в качестве награды выступает успех или неудача по результатам верификатора. Наборы задач различаются способом фильтрации:
- Непроверенные: 24 принятые задачи плюс 8 задач, не прошедших валидацию.
- Проверенные: 32 принятые задачи, выбранные без учета сложности.
- Неквалифицированные: 32 принятые задачи, которые базовая модель решает всегда или никогда.
- Квалифицированные: 32 принятые задачи, которые базовая модель решает в некоторых попытках.
На рисунке ниже показано, как задачи повлияли на обучение модели. В таблице перечислены шаги для каждого прогона и контрольная точка, которая подвергается оценке. На графике отслеживается награда в процессе обучения для подмножеств задач с различным статусом валидации.
Датасет
В репозитории harness-hub/agentic-coding-envs содержится 871 задача из 35 репозиториев. Количество задач Hub ограничено 40 на репозиторий, поэтому ни один отдельный проект не доминирует. В таблице ниже показан вклад каждого источника. Датасет имеет два представления: все принятые задачи и квалифицированное подмножество для обучения GRPO. Отклоненные попытки хранятся в отдельной конфигурации.
AsyncGRPOTrainer для более эффективного обучения GRPO
Мы задействовали стабильную версию AsyncGRPOTrainer из TRL. Главным преимуществом этого тренера является то, что он не дожидается завершения всех прокруток (rollouts), прежде чем перейти к следующему шагу оптимизации обучения.
Более подробную информацию о тренере и его составных элементах можно найти в блоге AsyncGRPO.
Настройка обучения
Для получения финальных адаптеров обвязки мы обучили адаптеры LoRA поверх модели Qwen/Qwen3.8-27B с использованием AsyncGRPOTrainer из TRL. Адаптеры подключались к модели с флагом all-linear. Для максимизации эффективности обучения режим размышлений (thinking mode) отключался на этапах генерации прокруток, а для более широкого сравнения мы оценивали наш финальный адаптер как с включенными размышлениями, так и без них.
Итоговая функция награды состоит из оценки правильности верификатора в сочетании с небольшим бонусом за эффективность использования инструментов (0.1, значение получено на основе ранних экспериментов с предыдущей итерацией адаптеров обвязки, которые показали наилучшие результаты при 0.1).
Мы провели небольшой поиск по шагу обучения (LR sweep) за 50 шагов с использованием сред окружения Termgrade (1e-5, 5e-5 и 1e-4) и заметили, что при 1e-5 правильность обучения почти не изменилась (с 0.52 до 0.50), при 1e-4 прокрутки деградировали вместо улучшения (количество шагов на прокрутку сократилось с 18 до 6 при росте энтропии), и только значение 5e-5 дало явное улучшение (с 0.49 до 0.60 к 40-му шагу). Более длительные прогоны со значением 5e-5 проявили признаки нестабильности (сокращение длины прокруток, рост энтропии), поэтому для финальных прогонов мы остановились на значении 2e-5.
Инфраструктура обучения
Каждый адаптер обвязки обучался с использованием двух графических процессоров NVIDIA B200, причем один GPU выделялся под сервер vLLM, а второй — под процесс обучения. Сначала мы провели стресс-тестирование, чтобы максимизировать количество задач RL, которые могут быть обучены в рамках одного шага оптимизации. Для этого мы максимально увеличили аргумент --token-budget из AsyncGRPOTrainer до предела для имеющейся у нас конфигурации. На графике ниже показана эволюция количества групп на шаг для каждого адаптера (синий цвет: Pi, зеленый: OpenCode, оранжевый: Hermes).
По мере того как модель совершенствуется в процессе обучения, она способна обрабатывать все больше групп на каждом шаге обучения, что разнообразит сигналы, получаемые моделью на каждом этапе оптимизации.
Финальная смесь данных
Итоговая смесь данных состоит из 750 задач из сред RL адаптеров обвязки и 300 задач из Termgrade. Чтобы максимизировать разнообразие выбираемых задач во время обучения, мы слегка изменили стратегию выборки данных, которая описана ниже:
Перед началом обучения задачи выстраиваются в фиксированный порядок, чередующий их по семействам (т.е. по репозиториям для созданных нами сред RL. Для Termgrade мы просто отсортировали их по имени, так как каждая задача рассматривается как собственное семейство), благодаря чему каждый шаг обучения задействует как можно больше репозиториев, сохраняя при этом распределение смеси.
safeagents в контуре
Мы также подключаем инструмент, чтобы пресекать любые некорректные действия модели во время обучения. Финальный плагин (содержащий регулярные выражения и правила шаблонов, специфичные для задач RL и путей тестирования) размещен в репозитории harness-hub/qwen-safeagents-plugin и может использоваться «из коробки» с помощью последней версии safeagents на случай, если кто-то захочет воспроизвести настройку обучения.
Количество заблокированных инструментом safeagents вызовов стабильно снижается в процессе обучения, что указывает на то, что модель становится «безопаснее» после каждого шага оптимизации. Ниже представлена диаграмма заблокированных safeagents вызовов на 1000 вызовов инструментов в зависимости от шага обучения для каждого адаптера обвязки.
Суперадаптер: объединение всех адаптеров в один
Объединение моделей часто позволяет совместить их возможности, сохраняя при этом большую часть функционала каждого отдельного компонента. После того как все три адаптера обвязки были обучены, мы задались двумя вопросами. Ведет ли их слияние к потере точности? И может ли один «суперадаптер» быть точным и эффективным при работе с любой обвязкой?
Мы начали с сравнения весовых обновлений трех адаптеров, слой за слоем. Косинусное сходство между любыми двумя из них составляет около 0.01–0.02: каждый адаптер толкал модель в почти ортогональном направлении во время обучения. Это лучший сценарий для слияния, так как обновления практически не мешают друг другу.
Мы конкатенируем три LoRA-адаптера по размерности ранга (combination_type="cat" в PEFT). Полученный объединенный адаптер имеет ранг 96 (3 × 32) и применяет в точности w · (ΔW_pi + ΔW_hermes + ΔW_opencode). Предыдущие работы по слиянию (task arithmetic, TIES, KnOTS) показывают, что масштабирование каждого обновления ниже 1 работает лучше всего, поэтому мы сравнили три веса на всех 89 задачах Terminal-Bench 2.1 в каждой среде с адаптерами 120-го шага:
- ⅓ (среднее): каждая среда сохраняет лишь треть собственного обновления.
- ½: каждое обновление с половинной силой.
- 1 (простая сумма): каждое обновление применяется полностью.
Простая сумма перенасыщает обновлениями. Агенты становятся очень краткими (13 вызовов инструментов на задачу против 49 у базовой модели), и в то время как Hermes достигает пика в 62.8%, pi возвращается к уровню базовой модели. Среднее значение разбавляет собственное обновление каждой среды. ½ дает наилучший баланс, поэтому мы создали финальный суперадаптер из выпущенных чекпоинтов (pi — шаг 160, hermes — шаг 160, opencode — шаг 150) с весом ½.
Результаты оценки слияния адаптеров
В каждой среде на задачах, оцененных каждым запуском (50–51 на SWE-bench Pro, 82–85 на Terminal-Bench 2.1), по одной попытке на задачу (в скобках указан прирост эффективности по сравнению с базовой моделью):
«Размышления» (Thinking) — это режим размышлений шаблона чата при значении усилий по умолчанию (xhigh). Специалисты обучались и обслуживались с выключенными размышлениями.
При отключенных размышлениях суперадаптер превосходит базовую модель по всем шести парам «среда–бенчмарк» (средний pass@1 вырос с 39.5% до 49.0%; 71 задача решена заново против 34 потерянных, p < 0.001).
Несмотря на то, что модель вообще не обучалась с включенными размышлениями, это самая сильная модель из всех, что мы оценивали в режиме размышлений. По сравнению с базовой моделью с включенными размышлениями той же интенсивности, она побеждает в пяти парах из шести и делит ничью в шестой (средний показатель 55.5% → 63.5%; 67 заново решенных против 37 потерянных, p = 0.004). Наибольший прирост наблюдается на SWE-bench Pro: +16 пунктов для hermes и +20 для opencode. Для pi на SWE-bench Pro, где одни размышления уже дают 74%, зафиксирована ничья.
Используйте специализированные адаптеры сред при отключенных размышлениях. Собственный адаптер каждой среды лидирует в четырех парах из шести, причем сильнее всего у pi (64.0% против 46.0% на SWE-bench Pro, 56.5% против 48.2% на Terminal-Bench). Разделение одной модели между тремя средами стоит pi наибольшей части ее прироста. Если вы используете только одну среду и держите размышления выключенными, берите ее специализированный адаптер.
Суперадаптер также намного эффективнее. На задачах, которые решают и базовая модель, и суперадаптер при отключенных размышлениях, он делает на 53–73% меньше вызовов инструментов и генерирует на 44–60% меньше токенов на задачу, совершая меньше вызовов для 111 задач из 130. При включенных размышлениях он все равно сокращает вызовы инструментов на 31–48%, а токены на 24–43% на SWE-bench Pro. На Terminal-Bench количество вызовов инструментов снижается на 19–25%, а объем токенов остается примерно на прежнем уровне.
Вес ½ был выбран на Terminal-Bench 2.1 с использованием адаптеров 120-го шага, поэтому показатели Terminal-Bench немного оптимистичны; SWE-bench Pro никак не влиял на этот выбор. Полные парные результаты приведены в карточке модели суперадаптера.
Финальные результаты
В этом разделе описывается то, что происходило во время обучения, а затем приводятся оценки адаптеров на отложенных бенчмарках как внутри их собственных сред, так и за их пределами.
Результаты обучения
Обучение продолжалось в общей сложности 598 шагов, в ходе которых было пройдено в общей сложности 78 114 образцов, что составляет ровно 167 млн обученных токенов.
Во время обучения мы наблюдаем четкий сигнал о том, что модель учится решать задачи за все меньшее и меньшее количество шагов, без каких-либо явных признаков насыщения. Несмотря на наличие некоторой общей восходящей тенденции в отдельные моменты, правильность обучения в целом остается стабильной. Это объясняется тем, что модель сталкивается с новыми задачами в процессе обучения, но количество групп, помещающихся в бюджет токенов одного шага, увеличивается более чем вдвое по мере сокращения траекторий. Прирост точности проявляется на отложенных бенчмарках в следующем разделе.
С другой стороны, safeagents смогла заблокировать множество подозрительных попыток. За три учебных прогона в общей сложности было провевлено 1.3 млн вызовов инструментов и заблокировано 647 вызовов.
Результаты оценки
Этот раздел охватывает настройки оценки, результаты внутри сред, перенос между средами, а также проверку вне распределения.
Настройки оценки
Мы оцениваем каждый адаптер внутри среды, в которой он обучался, на двух бенчмарках агентского программирования: всех 89 задачах Terminal-Bench 2.1 (1 час и 100 шагов агента на задачу) и 51 самой сложной задаче SWE-bench Pro (2 часа и 100 шагов агента). Мы ограничиваем максимальное количество токенов на задачу до 131072. Мы не настраиваем параметры агента и используем конфигурацию по умолчанию для всех сред. Например, Pi не сохраняет предыдущие шаги рассуждений, в то время как OpenCode и Hermes сохраняют, что в основном влияет на результаты SWE-bench Pro из-за быстрого переполнения контекста. Поэтому нельзя сравнивать результаты в разных средах (использование Pi не обязательно приводит к лучшим результатам, чем Hermes или OpenCode), но корректно сравнивать результаты внутри одной среды и делать выводы.
Каждый запуск выполняется через тот же стек Harbor и OpenEnv, что и при обучении, в песочницах HF, с одной попыткой на задачу при температуре 0.8 и выключенных размышлениях. Каждый чекпоинт LoRA объединяется с базовыми весами и обслуживается отдельно с помощью vLLM на одном графическом процессоре с той же степенью параллелизма, что и оценка базовой модели.
Для всех оценочных бенчмарков мы приводим метрику pass@1, а также количество вызовов инструментов, общее количество шагов — как для всех задач, так и для успешно решенных.
В целях открытости все траектории моделей для финальных оценок загружены в этот публичный бакет: harness-hub/harness-adapters-trajectories.
Результаты финальной оценки
Все три специализированных адаптера превосходят базовую модель в рамках собственной среды на обоих бенчмарках. На SWE-bench Pro (сложные 51) pi вырастает с 39.2% до 64.7% (+25.5 пункта: 15 задач решено заново против 2 потерянных, p = 0.002), hermes — с 29.4% до 43.1%, а opencode — с 35.3% до 51.0%. На полном Terminal-Bench 2.1 pi получает прирост в +16.3 пункта (16 против 2, p = 0.001), а hermes — +14.1 (19 против 7, p = 0.03). Opencode получает общий прирост +6.0, и +13.6 на 66 задачах, которые не участвовали в выборе его чекпоинта (12 против 3, p = 0.035).
Адаптеры также решают задачи гораздо эффективнее: на задачах, которые решают и они сами, и базовая модель, они делают на 56–72% меньше вызовов инструментов на задачу на SWE-bench Pro и на 53–70% меньше на Terminal-Bench 2.1. Единственный суперадаптер также превосходит базовую модель во всех трех средах (от +6 до +18 пунктов на SWE-bench Pro, от +5 до +10 на Terminal-Bench 2.1) со столь же значительным сокращением вызовов инструментов (53–73%). При выключенных размышлениях он сохраняет меньше прироста каждого специалиста (сильнее всего у pi), но с включенными размышлениями он превосходит базовую модель с размышлениями той же интенсивности в пяти парах «среда–бенчмарк» из шести (см. раздел о суперадаптере). Полные парные результаты содержатся в каждой карточке модели.
Переносятся ли эффективность и производительность между различными обвязками (harnesses)?
Чтобы ответить на этот вопрос, мы также оценили pi harness adapter в составе Hermes Agent и OpenCode.
В OpenCode он не уступает собственному специалисту OpenCode на Terminal-Bench 2.1 (44.8% → 54.0% против 46.4% → 52.4%). В Hermes он сохраняет примерно две трети прироста специалиста (46.3% → 56.1% против 44.7% → 58.8%), демонстрируя при этом одинаковое сокращение вызовов инструментов примерно на 45% в обоих случаях. Таким образом, кажется, что вновь приобретенные возможности переносятся между обвязками.
Оценка на задачах вне распределения и в условиях иной настройки
Что произойдет, если мы проведем оценку на задачах вне распределения, за пределами обвязок, с которыми обучались адаптеры?
Мы запустили все пять моделей на 300 задачах AutomationBench, которые представляют собой оценки рабочих процессов бизнес-автоматизации с использованием собственного цикла агента AutomationBench вместо Pi, Hermes или OpenCode. Таким образом, мы можем перепроверить два разных вопроса: может ли модель решать проблемы, не связанные с SWE-задачами? Что происходит, когда модель помещается вне обвязки, с которой она обучалась?
Результаты показывают, что адаптеры остаются близки к базовой модели. Pi и OpenCode немного опережают (27.0% и 25.3% pass@1 против 23.0%), объединенный адаптер идет наравне (23.7%), а Hermes отстает на несколько пунктов (17.7%). Различия находятся в пределах погрешности, за исключением, возможно, Hermes, поэтому обучение с подкреплением (RL) внутри обвязок ни четко не переносится на эту совершенно другую среду, ни ломает на ней модель.
Открытый вопрос: чему на самом деле научилась модель?
Мы ценим отзывы пользователей и сообщества; первоначальное тестирование и результаты от сообщества в целом выглядят крайне положительно, и мы надеемся продолжить работу в этом направлении в будущем. Мы также наблюдали некоторые удивительные результаты, например, сообщения пользователей о том, что адаптеры обвязок очень хорошо работают под управлением производных моделей Qwen3.8, таких как Swift-1.5.
Этот вопрос — открытый вопрос, над которым мы задумались после релиза. После тщательного изучения сгенерированных траекторий из оценочных бенчмарков выясняется, что модель в режиме без размышлений (non-thinking mode) склонна генерировать некоторый короткий текст перед предложением вызова инструмента, в отличие от базовой модели, которая генерирует вызовы инструментов почти без какого-либо текста предварительно.
Этот феномен можно рассматривать как своего рода «утечку рассуждений» (reasoning leakage), когда модель учится «ускользать» от своей версии без размышлений к версии с размышлениями путем генерации некоторого текста, который иногда может выглядеть как следы рассуждений (например: ...подождите? ...дайте посмотреть и т. д.). В недавней статье также очень хорошо описывается поведение языковых моделей (LLM) на этапе RL.
Опровергает ли это наши модели? Мы так не считаем, так как конечные результаты по-прежнему актуальны; в абсолютно одинаковых условиях (фиксированный бюджет токенов) наши адаптеры действительно превосходят базовую модель без размышлений (намного) и соответствуют производительности версии с размышлениями, будучи при этом гораздо более эффективными с точки зрения токенов. Это было дополнительно подтверждено положительными отзывами от сообщества.
Заключительное слово и будущие направления
В будущем мы изучим возможность применения этого рецепта к большим моделям, одновременно более подробно исследуя стратегии обучения для гибридных моделей с размышлениями / без размышлений.












