Авторы этой статьи — Эран Гольдштейн, Асаф Карниели, Шакед Мейром и Джоанна Крамер в сотрудничестве с Абхиджитом Мехтой и Энтони Ли из компании Deel.
Создание модели для расчета глобальной заработной платы, которая может надежно и достоверно отвечать на вопросы сотрудников по всему миру с учетом их уникальных условий труда и местного законодательства — задача не из простых.
Тем не менее, в ходе трехнедельного проекта исследователи из команды AI21 по внедрению на стороне клиента (FDR) совместно с командой Emet (лаборатории Deel по оценке и обучению моделей) провели посттренинг недавно выпущенной NVIDIA Nemotron 3.5 Super VL, создав модель, которая превосходит передовые аналоги при значительно меньших затратах:
- Улучшение качества на 20,7 пункта по сравнению с базовой моделью
- Улучшение качества на 8 пунктов по сравнению с Claude Opus 5.5
- Модель в 50 раз дешевле, чем Opus 5.5 (в расчете на стоимость 1 млн токенов)
Достижение таких результатов стало возможным благодаря экспертным критериям и бенчмарку, созданным специалистами Emet от Deel, которые работают на местах и точно определяют состав полного ответа. Большую роль также сыграла последовательная дообучка модели командой AI21 FDR с использованием методов SFT, а затем SDPO (self distillation policy optimization). В этой статье подробно описывается методология, лежащая в основе этих результатов.
Почему вопросы глобальной зарплаты представляют сложность для моделей
Предметная область
Deel, платформа для работы с глобальными кадрами и расчета зарплаты, поддерживает более 45 000 компаний в более чем 150 странах, отвечая на вопросы по зарплате, которые охватывают множество стран и юрисдикций. Правильный ответ зависит от местных налоговых правил, трудовых договоров и политики компаний — и все три этих фактора регулярно меняются. Типичный вопрос длиной около 20 слов может звучать так: «Как сотрудник компании EOR во Франции: у нас во Франции есть сотрудник, который ушел в декретный отпуск 14 августа. Насколько я понимаю, CPAM должна это профинансировать. Как работают это финансирование и доля работодателя?»
Помимо получения правильного ответа, модель также должна формулировать его в соответствии с терминологией, политикой и стилем Deel.
Для оценки ответов модели мы использовали EmBench Payroll, общедоступный бенчмарк по расчету зарплаты от Emet. Каждый вопрос содержит от 3 до 6 утверждений-критериев. Некоторые из них касаются фактов («указывает, что дневной лимит пособия CPAM составляет 101,94 евро»), в то время как другие проверяют, что именно охватывает ответ или как он преподносит ситуацию. Ответы оцениваются по двум метрикам с использованием GPT-6 Sol в качестве LLM-судьи:
- Выполненные критерии: средняя доля утверждений вопроса, которым соответствует ответ
- Все критерии выполнены: доля вопросов, для которых выполнены абсолютно все утверждения
Хотя передовые модели хорошо справляются с этой предметной областью — например, Opus 5.5 удовлетворяет 64,0% критериев и полностью отвечает на 26,3% вопросов из тестового набора, — они также дороги. Напротив, открытые модели стоят значительно дешевле, но обычно имеют более низкое качество: базовая версия Nemotron 3.5 Super набирает всего 51,3%.
Deel искала открытую модель, которая дает полный ответ без дополнительных подсказок и по цене, составляющей лишь малую долю от стоимости передовых аналогов. Посттренинг позволяет достичь нужного соотношения цены и качества.
Методология
В чем заключаются недостатки базовой модели
Мы начали с оценки базовой модели Nemotron 3.5 Super и анализа ошибок в ее генерациях. Большинство неудачных генераций были не столько неверными, сколько неполными. Например, модель проявляла неуверенность там, где закон дает однозначный ответ, не приводила конкретных цифр или упускала из виду факты и путала смежные понятия. Эти паттерны показали, что у модели в основном есть необходимые знания, но ее нужно направить на выдачу полного ответа.
На рисунке ниже (Рисунок 2) показан типичный пример. Когда сотрудник из США спросил, сколько у него будет дней больничного к концу апреля, базовая модель признала, что ответ зависит от законов штата, но проявила нерешительность и направила пользователя в отдел кадров вместо того, чтобы назвать правило и соответствующие цифры. В результате ответ не удовлетворил ни одному из трех критериев оценки, и ни один из восьми выбранных для проверки ответов на этот вопрос не оказался полностью правильным.
Внедрение нужного поведения в веса модели
Шаг 1: Near-policy SFT (обучение с учителем вблизи политики)
Чтобы улучшить модель и избежать катастрофического забывания, мы проводили обучение как можно ближе к политике (on-policy). Это означало обучение на собственных генерациях модели, а не на ответах, написанных другой моделью, поскольку данные, близкие к собственному распределению политики, легче усваиваются и вызывают меньше забывания [3]. Однако базовая модель редко выдавала генерации достаточно высокого качества для обучения. Она полностью отвечала лишь на 10% вопросов из тестового набора.
Чтобы повысить качество генераций, не выходя за рамки распределения модели (обучение «вблизи политики»), мы предоставляли модели подсказки (хинты) во время генерации. Мы итеративно дорабатывали хинты на основе анализа ошибок. Они описывали роль модели и требования к задаче, необходимый уровень детализации ответа по зарплате, терминологию и структуру ответа Deel, а также нюансы, которые пользователи часто путают. Подсказки не добавляли новых знаний о предметной области. Они лишь направляли модель на использование того, что она уже знала.
Затем мы сэмплировали генерации Nemotron 3.5 Super с подсказками при включенном режиме рассуждений. Мы отобрали только те генерации, которые удовлетворяли всем критериям оценки, включая их цепочки рассуждений, и они составили наш отобранный набор данных: всего 412 примеров, что очень мало по меркам посттренинга. Наконец, мы обучили модель с помощью SFT на этом наборе данных уже без использования подсказок.
Near-policy SFT повысила показатели на тестовом наборе с 0,513 / 0,100 до 0,657 / 0,229 (выполненные критерии / все критерии выполнены).
Повторный просмотр вопроса о больничных показывает эффект этого шага. Как видно на рисунке ниже, обученная модель формулирует федеральное правило, приводит цифры для наиболее вероятных штатов и запрашивает необходимые ей детали, увеличивая процент выполненных критериев по этому вопросу с 0,13 до 0,79.
Шаг 2: SDPO с привилегированным учителем
После создания более надежной контрольной точки с помощью SFT мы перешли к SDPO (self-distillation policy optimization) [1,2] — современному методу обучения на основе политики (on-policy), который обучает модель с помощью самодистилляции. Студент (обученная модель) отвечает на обычный вопрос, а учитель (та же модель, но с доступом к привилегированной информации для каждого вопроса) оценивает токены самого студента.
Информация, которую мы предоставляли учителю, оставалась такой же, как и внедренные выше подсказки.
Тем не менее, SDPO имеет преимущества по сравнению с обучением с помощью SFT. Во-первых, SDPO является методом обучения на основе политики (on-policy), то есть генерации создаются самой последней моделью политики. Во-вторых, этот метод представляет собой детальный подход к управлению поведением студента путем поощрения желаемых характеристик ответа (и штрафования за нежелательные) вместо того, чтобы полагаться на способность модели выводить эти характеристики исключительно из демонстраций.
В результате обучения с помощью SDPO производительность модели значительно выросла:
- При прямом обучении базовой модели с использованием SDPO результаты на тестовом наборе выросли с 0.513 / 0.100 до 0.638 / 0.183, приблизившись к оценкам после SFT (0.657 / 0.229) без каких-либо отборных данных.
- При запуске SDPO из контрольной точки SFT (SFT → SDPO) были получены наши лучшие результаты для Nemotron 3.5 Super: 0.720 / 0.339.
Стоит отметить, что мы достигли этих результатов на небольшом обучающем наборе: 412 вопросов для SFT и 698 для SDPO (что является надмножеством вопросов для SFT). Это стало возможным благодаря тому, что мы удерживали оба этапа как можно ближе к on-policy стратегии. В SFT мы проводили обучение на собственных ответах модели, полученных с помощью подсказок, поэтому отобранный обучающий набор оставался близким к собственному распределению модели. В SDPO обучение полностью соответствует on-policy: каждый проход по вопросу генерирует свежие варианты ответов от текущей политики, а вместе с ними и новый обучающий сигнал, а не фиксированную цель, которую модель могла бы запомнить. Кроме того, для SDPO не требуется эталонный ответ (gold answer), поэтому модель могла учиться на вопросах, в которых она все еще ошибалась. Это показывает, что дообучение модели для конкретной задачи может быть эффективно выполнено на небольшом наборе данных.
Этот практический пример представляет собой отличный образец конвейера самодистилляции. Подобно GRPO, где мы полагаемся на возможности студента для повышения производительности и создания эффекта маховика, SDPO делает то же самое. Обратная сторона заключается в том, что on-policy обучение может лишь усиливать то, что студент уже производит: когда базовая модель сама по себе редко выдает хорошие ответы, обучающих сигналов практически нет. Поэтому стандартной практикой является предварительная дистилляция от учителя или иное улучшение базовой модели до начала on-policy обучения. Наша работа с Deel иллюстрирует ситуацию, когда off-policy дистилляция от «самоучителя» (самой модели, управляемой подсказками) отлично работает в качестве прекурсора для SDPO, благодаря чему комбинация обоих методов превосходит каждый из них по отдельности.
Результаты
Последовательное использование SFT с последующим применением SDPO позволило создать нашу самую сильную модель по обеим метрикам, превзойдя Claude-Opus-5.5 примерно на 8 пунктов.
Достижение качества передового уровня с помощью SFT и SDPO
Реализовав процесс последовательного обучения с использованием как SFT, так и SDPO, команда FDR в AI21 улучшила производительность Nemotron 3.5 Super в задаче глобального расчета заработной платы от Deel на 20,7 пункта по сравнению с базовой моделью и на 8 пунктов по сравнению с Claude Opus 5.5.
Работая в такой сложной предметной области, как глобальный расчет заработной платы, где правильный ответ определяется как фактологически, так и стилистически, команда FDR в AI21 использовала близкое к policy SFT с последующим SDPO, чтобы скорректировать поведение модели и существенно повысить качество.
Совместно AI21 и Deel продемонстрировали, что, имея правильные данные и рецепт обучения, компаниям не нужно выбирать между качеством передовых моделей (frontier models) и ценой открытых моделей. Выполнив пост-тренинг Nemotron 3.5 Super VL, компания Deel теперь может использовать в своей системе расчета заработной платы модель, которая превосходит Claude Opus 5.5 по качеству, обходясь при этом в 50 раз дешевле.
Ссылки
- Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. arXiv:2601.18734, 2026.
- Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin, Andreas Krause. Reinforcement Learning via Self-Distillation. arXiv:2601.20802, 2026.
- Zhaorui Yang, Tianyu Pang, Haozhe Feng, Han Wang, Wei Chen, Minfeng Zhu, Qian Liu. Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning. ACL 2024, arXiv:2402.13669.
