Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Zastryavshie v tsikle ustranenie zatsiklivaniya agentov s pomoschyu rl
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Застрявшие в цикле: Устранение зацикливания агентов с помощью RL

Источник: Datalab•6 октября 2026 г. в 00:06

Застрявшие в цикле: Устранение зацикливания агентов с помощью RL

SFT и RL улучшают небольшую модель, управляющую нашим агентом по работе с документами, но только RL останавливает ее зацикливание.

В прошлом месяце мы выпустили Document Agent — универсального агента, способного выполнять многоэтапные задачи, связанные с документами. В основе системы LLM работает в нашей среде пошагово: анализирует страницы, пишет скрипты и запускает проверки, пока результат не будет принят.

В качестве эксперимента мы дообучили небольшую открытую модель для управления агентом. Мы попробовали два подхода: обучение на результатах работы более мощной модели и обучение с подкреплением (RL). Оба метода помогли, но только RL позволило стабильно предотвращать застревание модели в бесконечных повторах одних и тех же вызовов инструментов.

Настройка

Для этого эксперимента мы использовали одну из наших агентских задач: преобразование научных PDF-файлов в формат JATS XML.

«Из коробки» небольшая модель не очень хорошо справляется с этой задачей, в основном из-за недостаточной компетенции в работе с предоставленными инструментами. Она застревает, перезапускает одни и те же инструменты и, что самое неприятное, попадает в цикл, вызывая один и тот же инструмент снова и снова. Зацикливание — довольно распространенная проблема в LLM; см. статью Liquid AI о «петлях гибели».

Существует два основных способа улучшить модель, управляющую агентом:

  • Обучение на примере более мощной модели (обучение с учителем, SFT). Мы записываем работу более мощной модели и дообучаем маленькую модель копировать её действия шаг за шагом.
  • Обучение на собственных ошибках (обучение с подкреплением, RL). Маленькая модель выполняет задачу много раз, каждая попытка оценивается, и модель поощряется за действия, которые привели к хорошим результатам.

Мы протестировали SFT, RL на базе исходной модели и SFT с последующим RL, а затем провели оценку на 100 статьях с общедоступными эталонными XML-файлами, которые ни одна из моделей не видела во время обучения.

Результаты тестирования

Мы видим, что и RL, и SFT позволяют улучшить показатели, причем использование RL после SFT ведет к дальнейшему прогрессу.

Частично рост баллов связан с лучшим пониманием инструментов и требований профиля агента JATS. Однако при анализе логов стала ясна еще одна причина: как базовая модель, так и SFT-модель застревают в циклах вызова инструментов, что мешает им завершить задачу.

Борьба с зацикливанием

Типичный цикл SFT: модель исправляет скрипт, получает ошибку и отправляет ту же самую команду снова, до 41 раза подряд. Часто ее собственные рассуждения указывают на проблему («Мне стоит попробовать использовать sed») прямо перед тем, как она повторяет вызов. RL избавляет от этого почти полностью, независимо от того, с какой модели начинается обучение.

Жадная декодировка

Вывод при температуре 0 — распространенный способ сделать поведение агента более предсказуемым, поэтому мы повторно запустили тест в этом режиме. Для моделей без RL результаты оказались значительно хуже.

Жадная декодировка ухудшает показатели всех моделей, кроме тех, что обучались только через RL. SFT завершает лишь 9% статей, повторяя один и тот же некорректный вызов инструмента на каждом шаге. Частично такое поведение проявляется и при температуре 0.7, но выборка (sampling) обычно позволяет выйти из цикла после одной неудачной попытки. SFT с последующим RL показывает лучшие результаты, но все равно склонна сваливаться в циклы идентичных вызовов.

Первопричины

SFT-модель не научилась зацикливаться у своего «учителя»: ни в одном из логов учителя вызов не повторяется более трех раз подряд.

Наша главная гипотеза заключается в том, что основной причиной является внеполитическая (off-policy) природа SFT: модель учится только на траекториях учителя, а не на своих собственных. Учитель редко ломает свои скрипты, поэтому, когда это делает ученик, он оказывается в состоянии, которого не было в обучающих данных. Не имея примера «ошибка при редактировании, затем другой подход», модель с наибольшей вероятностью продолжает то, что уже есть в контексте: предыдущую команду. Это классический пример накопления ошибок или предвзятости воздействия (exposure bias) при обучении с подражанием.

RL исправляет это, так как является внутриполитическим (on-policy) методом: модель обучается на своих собственных прогонах, поэтому может адаптироваться к своим ошибкам. Прогон, который зацикливается до достижения лимита шагов, не дает результата и получает 0 баллов, в то время как прогон, который сталкивается с той же ошибкой и пробует что-то другое, все еще может получить положительное преимущество. Именно на этом контрасте строится обучение. За 40 шагов прогоны с 4 или более идентичными вызовами получают отрицательное преимущество в 88% случаев и их доля падает с 12% до 4%.

Чтобы изолировать внутриполитическую составляющую, мы также попробовали on-policy дистилляцию (OPD). Как и SFT, она учится у учителя, но тренируется на собственных прогонах ученика: ученик генерирует траекторию, а учитель оценивает каждый созданный токен.

OPD достигает результатов RL при температуре 0.7 и зацикливается реже, чем SFT. При температуре 0 она сохраняет работоспособность там, где SFT терпит крах. Она все еще иногда зацикливается при температуре 0, поэтому OPD не так эффективна, как RL, в полном устранении циклов. Тем не менее, доказательства ясно указывают на один вывод: ученик, который учится на своих собственных траекториях, работает лучше и зацикливается реже.

Что дальше

Это был небольшой эксперимент, но он сформировал наш взгляд на обучение моделей для наших агентов и важность использования внутриполитических данных. Мы рады продолжать обучение моделей для других задач с документами и будем делиться тем, что узнаем.

Если вы обучаете агентов и столкнулись с похожими (или другими!) проблемами, мы будем рады обменяться опытом.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Sopra Steria и Scaleway объединяют усилия для поддержки миграции критически важных приложений в суверенное облако
Sopra Steria

Sopra Steria и Scaleway объединяют усилия для поддержки миграции критически важных приложений в суверенное облако

ENGIE переосмысливает клиентский сервис с помощью Agentforce
Salesforce

ENGIE переосмысливает клиентский сервис с помощью Agentforce

ИИ в ПО LIMS: будущее агентных рабочих процессов контроля качества | Veeva
Veeva Systems

ИИ в ПО LIMS: будущее агентных рабочих процессов контроля качества | Veeva

USPS предлагает постоянную топливную надбавку для продавцов электронной коммерции
Descartes

USPS предлагает постоянную топливную надбавку для продавцов электронной коммерции

От пилотного проекта к окупаемости: что лидеры индустрии рассказали нам о внедрении агентного ИИ
DataArt

От пилотного проекта к окупаемости: что лидеры индустрии рассказали нам о внедрении агентного ИИ

Лучшие альтернативы ПО для управления отелями в Малайзии 2027
Hotelogix

Лучшие альтернативы ПО для управления отелями в Малайзии 2027

Ещё от Datalab

Представляем тарифный план Launch
Datalab

Представляем тарифный план Launch

У каждого флага должны быть доказательства: как ReviewerZero AI связывает проблемы достоверности с конкретной страницей
Datalab

У каждого флага должны быть доказательства: как ReviewerZero AI связывает проблемы достоверности с конкретной страницей

Каждый — №1: как оценивать OCR для вашего собственного пайплайна
Datalab

Каждый — №1: как оценивать OCR для вашего собственного пайплайна

Chandra 2.7: улучшенные таблицы и языки
Datalab

Chandra 2.7: улучшенные таблицы и языки

Быстрый режим теперь стоит 1 доллар за 1000 страниц и лучше распознает таблицы
Datalab

Быстрый режим теперь стоит 1 доллар за 1000 страниц и лучше распознает таблицы

Evals: подберите правильный режим для ваших документов
Datalab

Evals: подберите правильный режим для ваших документов