Сегодня мы объявили о сотрудничестве с NVIDIA, чтобы помочь предприятиям адаптировать открытые модели Nemotron с помощью Scale Post-Training. В этой статье представлен технический обзор нашей работы по пост-тренировке для глобальной страховой компании и ИИ-помощника (copilot), которого мы создали для ее специалистов по обслуживанию клиентов.

Когда водитель звонит в компанию за помощью на дороге, оператор должен понять, что произошло, определить, какие льготы покрывает полис клиента, и организовать соответствующую помощь — и все это во время разговора. Важные факты выясняются в ходе нескольких реплик, и оператор должен принять важные решения до завершения звонка. Правильный ответ с первого раза укрепляет доверие клиентов и позволяет контролировать расходы.

Мы создали ИИ-помощника, который работает вместе с операторами компании во время живых звонков на французском языке. По мере развития разговора он извлекает ключевые факты дела, рекомендует применимые льготы и отмечает любые обещания, которые выходят за рамки страхового покрытия.

Пост-тренировка с использованием обучения с учителем (SFT) и обучения с подкреплением (RL) сделала модель более точной и менее затратной в эксплуатации:

Точность извлечения фактов достигла 93,8% по сравнению с 76,1% до пост-тренировки и на 31 процентный пункт выше, чем у производственной модели (62,6%).
Точность рекомендаций по покрытию достигла 95,6% по сравнению с 85,4% у производственной модели и 92,2% у лучшей протестированной нами передовой модели.
Стоимость вывода (inference) снизилась примерно на 70–75% по сравнению с производственной моделью, при затратах на вычислительные ресурсы для обучения менее 1000 долларов на задачу.

Рабочий процесс: три взаимосвязанные задачи

Мы разделили работу помощника на три задачи и оценивали каждую отдельно, чтобы успех в одной не скрывал неудачу в другой.

Извлечение фактов дела. Из разговора помощник определяет тип события, причину поломки и количество пассажиров. Он обновляет свои ответы по мере поступления новой информации и оставляет поле пустым, если клиент еще не предоставил достаточно данных.
Рекомендация покрытия. Используя эти факты и полис клиента, помощник определяет, какие группы льгот могут быть применимы, например, ремонт на дороге, буксировка, мобильность или размещение. Если решающий факт отсутствует, он запрашивает его, а не предполагает, что клиент застрахован.
Защита от чрезмерных обещаний. Пока оператор говорит, помощник проверяет, не превышает ли обязательство покрытие клиента. Например, он должен отметить обещание возместить стоимость такси в размере 60 евро, если полис это не покрывает, даже если клиент упомянул эту сумму несколькими репликами ранее.

Каждая задача сложна по-своему. Извлечение фактов требует логического мышления в процессе разговора, в то время как рекомендация покрытия зависит от применения правил страхования, специфичных для страны. Система защиты должна фиксировать обязательства в реальном времени, не прерывая звонок ложными оповещениями. Поскольку операторы полагаются на эти подсказки во время разговора, помощник также должен отвечать с низкой задержкой.

Как мы проводили оценку

Первым шагом в любом проекте по пост-тренировке является определение того, что означает «правильно» для рабочего процесса. Данные звонков компании требуют юридического одобрения, прежде чем их можно будет использовать для обучения, поэтому мы сгенерировали синтетические разговоры на французском языке на основе выборочных фактов дел и сценариев страхования.

Оценка строгая:

Извлечение фактов считается правильным только тогда, когда все три поля совпадают точно.
Рекомендация покрытия считается правильной только тогда, когда совпадает весь набор рекомендуемых льгот. Одна лишняя или отсутствующая льгота делает ответ неверным.
Система защиты считает звонок правильным только тогда, когда каждая проверка в ходе звонка соответствует истине. Нарушения происходят только в 4% проверок, поэтому система должна фиксировать эти редкие случаи, не создавая ложных оповещений в остальных.

Как мы проводили пост-тренировку

Для каждой задачи мы сначала применили SFT к собственным правильным рассуждениям модели и траекториям использования инструментов, выбранным из нескольких попыток. Затем мы применили RL, используя оптимизацию групповой политики последовательностей (GSPO), начиная с контрольной точки SFT, и вознаграждали точные совпадения с проверенным ответом. SFT расширила спектр случаев, которые модель могла решить. RL сделала ее более последовательной с первой попытки.

Обучение было недорогим. Модель извлечения фактов заняла около 16 часов работы GPU на 8 H100 (около 890 долларов), а модель покрытия — около 4 часов работы GPU (около 230 долларов).

Результаты

Извлечение фактов. Базовая модель Nemotron начала с 76,1%, уже опережая производственную модель с 62,6%. Она хорошо понимала разговоры на французском языке; основной трудностью было применение правил, связывающих событие с причиной поломки. После SFT и RL она достигла 93,8%, что соответствует показателям самых сильных протестированных нами передовых моделей (95,8% и 94,4%).

Рекомендация покрытия. Базовая модель Nemotron набрала 93,6%, что является самым высоким показателем среди всех моделей до обучения. После пост-тренировки она достигла 95,6%, опередив все протестированные нами модели.

Стоимость и задержка

Поскольку помощник работает во время живого звонка, точность важна только в том случае, если модель также быстра и доступна при масштабировании. Nemotron 3.5 Super VL достигает передовых возможностей при меньшей задержке за счет использования архитектуры MoE, которая активирует только 12 млрд параметров из 120 млрд:

Извлечение фактов: около 3,00 долларов за 1000 запросов по сравнению с 12,10 долларами для производственной модели, что примерно на 75% меньше. При более низких настройках рассуждения она все равно набирает 91,9% при стоимости 1,80 доллара за 1000 запросов, а задержка падает с 26 до 11 секунд.
Рекомендация покрытия: около 1,40 доллара за 1000 запросов по сравнению с 4,80 долларами для производственной модели, что примерно на 70% меньше.

Что мы узнали

Пост-тренировка не гарантирует улучшение. Правильный рецепт зависит от задачи, поэтому мы измеряем каждое изменение относительно всего рабочего процесса.

Настройки вывода важны так же, как и обучение. Более дешевая и быстрая конфигурация потеряла менее двух пунктов точности при извлечении фактов.

Оценка делает возможной экономию затрат. Оценка на уровне задачи отвечает на практический вопрос: какая настройка является наименее дорогой, но при этом соответствует планке качества данного рабочего процесса?

В процессе работы наши инженеры внесли улучшения в открытые инструменты пост-тренировки NVIDIA для поддержки обучения с подкреплением в гибридной архитектуре «смесь экспертов» (MoE) модели Nemotron.

Что дальше

Эти результаты получены на основе синтетических звонков в контролируемой среде. Далее мы проведем оценку на одобренных реальных звонках, измерим задержку в рабочем процессе и завершим работу над системой защиты перед внедрением помощника в производство.

Этот проект — одно из нескольких ранних внедрений Scale Post-Training, наряду с нашей работой со Skydance по автоматизации финансов и EY по комплексной проверке при слияниях и поглощениях.

Scale Post-Training уже доступен для предприятий, которые хотят адаптировать открытые модели для своих рабочих процессов, включая семейства моделей Nemotron. Чтобы узнать, как мы можем помочь вашему предприятию, свяжитесь с нами здесь.