Введение

Обучение с подкреплением (RL) широко используется при дообучении языковых моделей для улучшения их возможностей в задачах сложного рассуждения и долгосрочных агентных задачах.

В типичной схеме модель делает повторяющиеся попытки решить задачу, получает за каждую из них итоговую награду и учится отдавать предпочтение действиям, совершенным в попытках с более высокой наградой. Однако единая итоговая награда дает разреженный сигнал обучения, который не позволяет различить, какие промежуточные действия помогли или помешали достижению результата. Эта разреженность ограничивает эффективность выборки, особенно в сложных агентных задачах, где попытки занимают много времени, а успехи редки.

Один из популярных способов борьбы с этой разреженностью — онполисная дистилляция (On-Policy Distillation, OPD), которая использует более сильную модель-учитель для пошагового руководства попытками самого ученика, обеспечивая гораздо более плотные награды. Однако преподавание — это навык сам по себе. Модель, которая хорошо справляется с задачей, необязательно умеет хорошо ей обучать, так как ее обратная связь может выходить за рамки текущих возможностей ученика. Это побуждает обучать не только ученика подражать учителю, но и учителя предоставлять более согласованное руководство для ученика.

Мы предлагаем один из таких методов — Joint On-policy Learning and Teaching (JOLT). Опираясь на онполисную самодистилляцию (On-Policy Self-Distillation, OPSD), мы используем одну и ту же модель в двух ролях: учителя с доступом к привилегированной информации (например, проверенным решениям) и ученика без такого доступа. Мы обучаем эти две роли совместно. Ученик следует стандартной цели дистилляции. Цель учителя заключается в том, чтобы его обратная связь направляла ученика в ту же сторону, что и RL на основе собственной награды ученика. В совокупности эти цели обучают учителя находить ученика там, где он находится, и помогать ему учиться на основе доступных для него рекомендаций.

Наши эксперименты демонстрируют улучшение как производительности модели, так и эффективности обучения в различных задачах математических рассуждений, написания кода и агентных задачах.

От разреженных наград к плотной обратной связи

В своем самом базовом варианте RL на основе итоговой награды использует целевой показатель ожидаемой доходности:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Здесь $\tau$ — траектория, следующая политике $\pi_\theta$, а $R(\tau)$ — доходность для этой траектории. Соответствующий градиент политики равен:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

где $s_t$ и $a_t$ представляют собой состояние и действие соответственно на временном шаге $t$. Для уменьшения дисперсии оценок на основе выборок градиент часто выражается следующим образом:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

где преимущество $A^{\pi_\theta}(s_t, a_t)$ измеряет ожидаемый избыточный доход действия $a_t$ относительно текущей политики в состоянии $s_t$. Один из подходов, Group Relative Policy Optimization (GRPO), оценивает преимущество путем сравнения доходности каждой траектории со средней доходностью группы, выбранной для того же проммпта.

Тем не менее, даже с учетом этих корректировок, обучение с подкреплением на основе итоговых наград страдает от разреженного надзора, особенно в сложных задачах с долгосрочным горизонтом. Растущее число работ решает эту проблему за счет привлечения дополнительных источников информации для получения более плотного сигнала обучения.

On-Policy Distillation (OPD) — один из таких подходов. Вместо того чтобы учиться только на финальной награде, OPD выбирает траектории от ученика и оценивает каждое выбранное действие с помощью более сильного учителя. Для политики учителя $\pi_T$ и фиксированного снимка параметров ученика $\bar{\theta}$, используемого для генерации траекторий, локальный градиент, вычисленный при $\theta = \bar{\theta}$, равен:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Здесь $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ — это цель дистилляции с отрицательной обратной KL-дивергенцией. Политика учителя и выбранные префиксы остаются фиксированными во время дифференцирования. Отношение логарифмов вероятностей учителя и ученика обеспечивает плотный сигнал обучения в каждом посещенном состоянии, заменяя преимущество в качестве веса на уровне действий.

On-Policy Self-Distillation (OPSD) дополнительно устраняет необходимость в отдельной модели-учителе. Политика ученика служит его собственным учителем при наличии привилегированной информации, такой как проверенное решение, обратная связь или эталонный след. Однако OPSD обучает ученика только подражать учителю; здесь нет механизма, обеспечивающего полезность сигнала от учителя для ученика.

Совместное онполисное обучение и преподавание

JOLT расширяет OPSD, обучая общую модель как в качестве учителя, предоставляющего более согласованные рекомендации, так и в качестве ученика, который учится на их основе. Лучше информированный учитель учится на итоговых наградах с KL-регуляризацией по отношению к ученику, в то время как непривилегированный ученик учится на плотном сигнале дистилляции от учителя. Обновление учителя использует попытки, сгенерированные учителем, в то время как обновление ученика использует попытки, сгенерированные учеником и оцененные учителем. JOLT+ дополнительно дополняет сигнал дистилляции ученика итоговыми наградами.

Обучение учителя

Определите, что должен делать учитель

Лучшая производительность учителя не обязательно приводит к полезным обновлениям для ученика. Учитель может использовать привилегированную информацию для применения обходных путей, недоступных ученику, присваивать высокую вероятность траекториям, маловероятным для ученика, или предоставлять ненадежные рекомендации после ошибок в префиксах, сгенерированных учеником. Качество учителя поэтому должно определяться сигналом обучения, предоставляемым ученику, а не собственной наградой учителя за выполнение задачи.

Мы называем учителя согласованным с наградой (reward-consistent), если индуцированное им обновление дистилляции у ученика совпадает с градиентом политики ожидаемой награды ученика за задачу с точностью до положительного масштабирования. В частности, учитель, согласованный с наградой, $\pi_T^\star$ должен удовлетворять условию:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

где βT\beta_T — положительный скаляр. Как и в предыдущем разделе, gOPDg_{\mathrm{OPD}} — это локальный градиент OPD, θˉ\bar\theta — фиксированный снимок параметров модели-студента θ\theta, а gRLg_{\mathrm{RL}} — градиент политики для целевой функции ожидаемой награды.

Одним из учителей, удовлетворяющих этому условию, является:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Здесь Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) представляют преимущества продолжения студента, а Z(s)Z(s) — нормировочная константа, обеспечивающая корректное распределение вероятностей.

От идеальной цели к целевой функции учителя

Мы можем обучить учителя приближаться к идеальной цели πT⋆\pi_T^\star путем минимизации его дивергенции Кульбака — Лейблера (KL) до нее. Для фиксированных студента и состояния ss это дает:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Подстановка выражения для πT⋆\pi_T^\star приводит к эквивалентной задаче максимизации:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Эта целевая функция побуждает учителя выбирать действия с более высоким преимуществом для студента, оставаясь при этом близким к распределению действий студента. Параметр βT\beta_T управляет силой этого штрафа: большие значения удерживают учителя ближе к текущему поведению студента, в то время как меньшие значения позволяют ему более агрессивно отдавать предпочтение действиям с высоким преимуществом.

Практическая суррогатная целевая функция

Эта целевая функция зависит от того, насколько успешно студент продолжил бы выполнение после каждого действия, однако такие преимущества продолжения студента обычно недоступны. Поэтому в качестве практического суррогата мы используем центрированные возвраты из собственных траекторий учителя. Член с наградой побуждает учителя решать задачу, в то время как член с KL-дивергенцией препятствует отклонению от текущего распределения действий студента. Хотя член с KL-дивергенцией удерживает учителя близко к студенту, эта замена не является точной, поскольку возвраты учителя не обязаны совпадать с преимуществами продолжения студента.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Здесь A^T(τ)\widehat{A}_T(\tau) представляет собой возврат попытки учителя за вычетом среднего возврата попыток, сгенерированных учителем в его группе. Оператор sg⁡\operatorname{sg} обозначает остановку градиента (stop-gradient): его аргумент считается фиксированным при дифференцировании, как и сэмплированные префиксы и эталонные данные студента.

Обучение студента

Обновление студента представляет собой стандартное обновление OPSD. Студент генерирует траектории на основе задачи. Затем та же модель оценивает каждый сэмплированный токен с использованием привилегированной информации в контексте. Целевая функция студента наказывает за обратную KL-дивергенцию между студентом и этим привилегированным учителем в каждом состоянии, которое посещает студент:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Следовательно, токенам, которым отдает предпочтение учитель, оказывается поддержка, в то время как токены, которые учитель считает менее вероятными, чем студент, подавляются.

Объединение результатов

Объединение целевых функций учителя и студента дает совместную целевую функцию обучения:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S — это скаляр, определяющий вес функции потерь дистилляции студента в комбинированном обновлении.

Результат соответствия награды характеризует обновление дистилляции студента для заданного учителя. JOLT использует этот принцип для направления совместного обучения, объединяя целевые функции учителя и студента для обновления их общих параметров.

JOLT+ также добавляет собственную награду за результат студента к его обновлению. Центрированный возврат каждой траектории студента добавляется к сигналу дистилляции, объединяя плотный надзор учителя с прямой обратной связью по результатам на траекториях студента. Целевая функция учителя остается без изменений, поэтому мы можем записать:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Здесь A^S(τ)\widehat{A}_S(\tau) представляет собой возврат траектории студента за вычетом среднего возврата для его группы траекторий, сгенерированных студентом.

В обоих вариантах каждая роль обучается на траекториях, сгенерированных в рамках ее собственного контекста, и обе роли обновляют общую политику. Псевдокод шага обучения приведен ниже.

Эксперименты

Мы оцениваем JOLT и JOLT+ на бенчмарках, охватывающих математические рассуждения, генерацию кода, использование инструментов и долгосрочные терминальные задачи, используя различные базовые модели и различные формы привилегированной информации. В частности, мы проводим эксперименты со следующими бенчмарками, базовыми моделями и конфигурациями привилегированной информации:

GSM8K: Мы обучаем DeepSeek-V2-Lite на GSM8K, наборе данных задач по математике для начальной школы. Учитель получает проверенный ответ на каждую задачу.
MATH: Мы обучаем Qwen3-0.6B на MATH. Учитель получает подробные эталонные решения.
LCBv6: Мы обучаем Qwen3-8B на 131 задаче по программированию из LiveCodeBench-V6. Учитель получает сгенерированное моделью решение, которое прошло все тесты, видимые при обучении, или обратную связь по выполнению, если ни одна попытка их не прошла.
AppWorld: Мы обучаем Qwen3-4B-Instruct на AppWorld. Учитель получает сводки предыдущих попыток.
Terminal-Bench: Мы обучаем Qwen3-30B-A3B-Instruct на TMax, наборе обучающих задач для терминальных агентов, и проводим оценку на Terminal-Bench 2.1. Учитель получает конфиденциальную информацию верификатора.

Мы проводим сравнение с GRPO, OPSD и π-Distill, настраивая гиперпараметры для каждого метода. Подобно JOLT, π-Distill совместно обучает роли привилегированного учителя и студента в рамках общей модели; однако в нем используется другая цель учителя, а обновление его студента остается off-policy (вне политики) и опирается на сгенерированные учителем траектории, а не на собственные генерации студента.

Точность

JOLT+ имеет самый высокий средний балл в каждой оцениваемой нами конфигурации. По сравнению с GRPO, сильнейшим из протестированных базовых методов, он повышает точность на GSM8K на 1,5 процентных пункта (п. п.), точность на MATH — на 4,2 п. п., точность на LCBv6 — на 3,0 п. п., а процент успешного прохождения тестов состояний AppWorld — на 9,9 п. п.

Без каких-либо прямых наград для студента средняя точность JOLT выше, чем у GRPO на датасетах GSM8K, MATH и LCBv6. Однако на AppWorld она остается ниже как GRPO, так и π-Distill.

Terminal-Bench 2.1 — это задача с наибольшим горизонтом планирования. У JOLT+ самый высокий показатель pass@k при каждом указанном k: от 10.96% при pass@1 до 34.83% при pass@32. JOLT превосходит базовую модель и оба базовых метода дистилляции при каждом k, но уступает GRPO. OPSD набирает меньше баллов, чем базовая модель при каждом k.

Эффективность токенов и масштабирование

Нас также интересует, как производительность масштабируется с ростом тренировочного бюджета. Мы оцениваем GRPO, OPSD и JOLT при различных бюджетах тренировочных токенов на MATH и сравниваем получаемую точность студента.

На рисунке показано, как точность масштабируется в зависимости от затрат тренировочных токенов для каждого метода. Мы измеряем стоимость в обработанных тренировочных токенах. Сюда входят все промпты без дополнений, привилегированный контекст, проходы оптимизации и перекрестная оценка между учителем и студентом.

Точки показывают количество обработанных тренировочных токенов и точность на различных контрольных точках; усы погрешности представляют ±1 стандартное отклонение по результатам запусков. Мы подгоняем сигмоидальную зависимость между точностью и логарифмом бюджета тренировочных токенов, следуя предыдущим исследованиям по масштабированию вычислений при RL.

JOLT демонстрирует раннюю эффективность выборки, достигая при этом наивысшей точности среди трех методов, выходя на плато около 72%. OPSD быстро улучшается при малых бюджетах, но выходит на плато примерно при 62% точности. GRPO учится медленнее в начале, но продолжает улучшаться дольше, поднимаясь примерно до 70%. При сопоставимой точности в 63.44% наблюдаемая контрольная точка GRPO использует 8.40 млн токенов, в то время как подогнанная кривая JOLT дает 1.30 млн, что в 6.5 раз меньше токенов.

Мы также измеряем стоимость с помощью токенов генерации (completion tokens), которые учитывают генерации студента для GRPO и OPSD, а также генерации как учителя, так и студента для JOLT, но исключают промпты, привилегированный контекст и дополнительные проходы оптимизации. Сравнение на основе токенов генерации, а не обработанных тренировочных токенов, увеличивает разрыв в эффективности примерно до 13 раз при том же уровне точности. В диапазоне целевых точностей JOLT использует в 9.5–14.4 раза меньше токенов генерации и в 4.3–7.4 раза меньше обработанных тренировочных токенов.

Заключение

Привилегированная информация может сделать учителя лучше в решении задачи, но не обязательно делает его лучше в обучении студента решению той же задачи без этой информации. JOLT решает эту проблему путем обучения учителя с учетом текущего поведения студента.

Это совместное обучение повышает как точность, так и эффективность. С наградами за результаты студента JOLT+ достигает абсолютного прироста по сравнению с GRPO на 1.5 п.п. на GSM8K, 4.2 п.п. на MATH, 3.0 п.п. на LCBv6, 9.9 п.п. на AppWorld и 2.7 п.п. на Terminal-Bench 2.1 (pass@1). На MATH JOLT использует в 13 раз меньше токенов генерации и в 6.5 раз меньше обработанных тренировочных токенов, чем GRPO при сопоставимой точности, без прямой награды для студента.

JOLT позволяет руководству со стороны учителя развиваться вместе со студентом. Это побуждает исследовать, может ли учитель также научиться генерировать полезные тренировочные задачи. Перспективным направлением для будущих исследований является совместное обучение учителя, генерирующего задачи, и студента, решающего проблемы, с использованием прогресса обучения студента для улучшения генерируемых задач в рамках учебной программы (курикулума). Это может сделать синтетическую генерацию задач адаптивной к тому, чему студент готов научиться дальше.

Читайте нашу полную статью для получения дополнительной информации.

Цитата

plaintext

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre, author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma}, title = {{A good teacher meets the student where they are}}, date = {2026-10-21}, url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are} }