В то время как общественный интерес к ИИ, способному к самосовершенствованию, стремительно растет, исследователи решили одну из центральных проблем, влияющих на его развитие.
Исследовательская группа, в которую входят специалисты из NVIDIA и Flower Labs, разработала новый метод, позволяющий рекурсивным самообучающимся ИИ-агентам продолжать совершенствоваться (путем многократного тестирования и улучшения собственного кода), не упираясь в «потолок оценки», с которым они часто сталкиваются.
Их метод также предлагает способ снижения затрат на вычислительные ресурсы, необходимые для разработки таких ИИ-агентов.
Хотя агенты уже могут совершенствоваться, редактируя свой собственный код, тестируя варианты и сохраняя изменения, которые работают лучше, этот процесс обычно ограничен фиксированным оценщиком, эталонным тестом или набором тестов. Как только агент усваивает все, что может различить этот фиксированный сигнал, прогресс замедляется или останавливается.
«Самообучающийся агент может стать лишь настолько хорошим, насколько хорош тест, который его оценивает», — объясняет член команды Алекс Якоб, аспирант лаборатории систем машинного обучения под руководством профессора Ника Лейна. «Тест не просто измеряет прогресс, он определяет его, поэтому эффективность теста становится потолком, который агент не может преодолеть».
Теперь исследователи решили эту проблему, заставив самообучающегося агента и оценщика развиваться вместе. «Вместо того чтобы улучшать агента относительно фиксированного теста, мы позволяем оценке развиваться вместе с агентом», — добавляет Алекс. «По мере того как агент становится лучше, оценка также усложняется, и планка постоянно повышается».
Машина Гёделя «Черная Королева»
Алекс является ведущим автором препринта, который исследовательская группа только что загрузила на arXiv. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators содержит технические подробности их работы, а также впечатляющие результаты использования этой структуры в ряде задач.
Рисунок: Агенты и оценщики совершенствуются вместе. Машина Гёделя «Черная Королева» перебирает множество возможных версий ИИ-агента, одновременно улучшая оценщика, который судит этих агентов. На каждом этапе оценщик остается неизменным, чтобы можно было надежно измерить прогресс. На контрольных точках более сильный оценщик может заменить старый, если он показывает лучшие результаты на проверенных эталонных примерах. Оценки старого оценщика затем удаляются, поэтому следующий этап направляется новым, более требовательным стандартом. Это создает цикл самосовершенствования, в котором агенты и оценщики улучшаются вместе, в то время как система остается привязанной к надежным проверкам.
Как в написании и рецензировании научных статей, так и в написании и проверке доказательств уровня математических олимпиад, Машина Гёделя «Черная Королева» показала лучшие результаты по сравнению с предыдущими самообучающимися ИИ-агентами.
«Совместно развивающиеся авторы научных статей достигают в 1,78–1,86 раза более высоких показателей принятия работ панелью разнообразных агентов-судей», — сообщают исследователи в статье, — «в то время как совместно развивающиеся оценщики достигают на 9% более высокой точности по сравнению с эталонными данными».
Гипотеза Черной Королевы
Любопытное название структуры отсылает к Черной Королеве — вымышленному персонажу детской книги Льюиса Кэрролла «Алиса в Зазеркалье», которая знаменито говорит Алисе, героине романа, что «нужно бежать со всех ног, чтобы только оставаться на месте». Гипотеза Черной Королевы, выдвинутая в 1973 году в эволюционной биологии, была названа в честь этого персонажа, поскольку она предполагает, что виды должны постоянно адаптироваться, эволюционировать и размножаться, чтобы выжить в конкуренции с другими видами, которые также постоянно эволюционируют.
Эта гипотеза теперь была применена к ИИ.
«Вместо того чтобы улучшать агента относительно фиксированного теста, мы позволяем оценке развиваться вместе с агентом. По мере того как агент становится лучше, оценка также усложняется, и планка постоянно повышается». Алекс Якоб, аспирант
«Вместо того чтобы улучшать агента относительно фиксированного теста, мы позволяем оценке развиваться вместе с агентом. По мере того как агент становится лучше, оценка также усложняется, и планка постоянно повышается».
Алекс Якоб, аспирант
Работа была выполнена группой исследователей при поддержке таких партнеров, как NVIDIA, дочерняя компания департамента Flower Labs, MBZUAI и Inria.
Путь к более эффективным открытым агентным системам с меньшими затратами
Еще один ключевой вывод, к которому пришли исследователи, заключается в том, что использование моделей с открытым исходным кодом для выполнения части работы, в дополнение к вычислительно дорогим инструментам, таким как ChatGPT, может стать способом значительного снижения затрат на разработку самообучающихся систем ИИ.
В одном из экспериментов исследователи использовали NVIDIA Nemotron 3 Ultra вместе с ChatGPT-5.5 для совместного развития ИИ-рецензентов и авторов научных статей. В задаче рецензирования статей эта гибридная установка приблизилась к производительности, достигаемой ChatGPT самостоятельно, при этом сократив расходы на поисковые токены примерно в 13 раз.
Соавтор, профессор Ник Лейн, говорит: «Это узкий результат, и мы должны быть осторожны, чтобы не переоценить его. Но он также указывает, куда может двигаться этот метод. Если открытые модели могут выполнять основную часть поиска, в то время как более сильные передовые модели направляют процесс улучшения на более высоком уровне, то у нас есть правдоподобный путь к гораздо более способным открытым агентным системам при гораздо меньших затратах».
А Дэниел Буркхардт, менеджер по связям с разработчиками в NVIDIA, говорит: «Это усилие показывает, как открытые модели могут играть важную роль в продвинутых агентных системах. Модели NVIDIA Nemotron разработаны так, чтобы быть эффективными и способными к рассуждениям и агентным рабочим нагрузкам, и эта работа показывает, как их можно использовать как часть более широкого цикла самосовершенствования».
Исследовательская группа подчеркивает, что работа является предварительной и что потребуются более длительные горизонты поиска, чтобы понять, насколько масштабируемым является этот подход. Но результаты указывают на новый класс самообучающихся систем, в которых агенты и оценщики рекурсивно поддерживают друг друга, открывая путь к более способному, эффективному и открытому агентному ИИ.
Статья «Машина Гёделя «Черная Королева»: Совместное развитие агентов и их оценщиков» доступна на arXiv. Базовый метод будет переведен в формат с открытым исходным кодом для поддержки более широкого внедрения, в то время как команда продолжает исследовать, как этот подход к самообучению работает в более широком спектре задач ИИ, включая эксперименты, масштабируемые значительно дальше этих первоначальных результатов.
- The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators: Алекс Якоб, Андрей Йованович, Уильям Ф. Шен, Дэниел Буркхардт, Мегдад Курманджи, Нурбек Тастан, Лоренцо Сани, Никколо Альберто Элиа Венанци, Амбруаз Одонна, Зейю Цао, Билл Марино, Синчи Цю, Николас Д. Лейн
