StateBench: тестирование способности языковых моделей отслеживать изменения состояния в длинных документах

Мы представляем StateBench, бенчмарк для отслеживания состояния в условиях длинного контекста, оценивающий, насколько хорошо языковые модели отслеживают эволюцию информации об объектах в длинных документах.

Отслеживание состояния лежит в основе самых разных задач: от чтения кода, где переменные получают новые значения при присваивании, до слежения за сюжетом, в котором персонажи перемещаются в пространстве, а предметы переходят из рук в руки. Например, если в детективном романе говорится, что «Джон передал Мэри нож» непосредственно перед совершением убийства, важно понимать, что состояние каждого персонажа изменилось. Однако не все задачи на отслеживание состояния одинаково просты: некоторые требуют лишь поиска последнего обновления; более сложные предполагают следование цепочке изменений, где всего один пропущенный шаг может исказить окончательный ответ. Например, более сложным вариантом нашего примера с детективом будет ситуация, когда Джон передает Мэри предмет из своего рюкзака, при этом ранее известно, что Эдвард положил нож в рюкзак Джона.

Трансформеры имеют хорошо задокументированные теоретические ограничения на сложных вариантах отслеживания состояния с длинными цепочками зависимостей. Это стимулирует развитие рекуррентных и гибридных архитектур, таких как Gated DeltaNet, которые сохраняют рабочую память и переносят ее дальше. Существующие тесты на отслеживание состояния обычно сосредоточены на самых сложных случаях, но по мере распространения таких архитектур исследователям необходимо понимать, с какими именно видами отслеживания состояния справляется каждая из них. Мы хотим понять различия между архитектурами не только на самых сложных задачах отслеживания состояния, но и на более простых, потенциально более распространенных.

С этой целью мы разработали бенчмарк StateBench, охватывающий задачи отслеживания состояния разной сложности, который мы использовали для оценки различий между языковыми моделями с различными архитектурами. Мы обнаружили, что рекуррентные и гибридные модели способны обобщать данные гораздо дальше трансформеров при прямом обучении на этих задачах, в то время как передовые модели, включая Gemini 3.8 Flash, по-прежнему дают сбои на более сложных формах отслеживания состояния по мере роста длины входных данных.

Четыре уровня отслеживания состояния

StateBench состоит из четырех уровней сложности, которые допускают все более сложные операции обновления состояния. Для программистов эти уровни сложности отслеживания состояния можно представить как различные типы операций присваивания переменных:

• R-тривиальные задачи используют неизменяемое (immutable) присваивание. Значение переменной никогда не меняется, поэтому модели нужно лишь восстановить то, каким оно было задано изначально. В коде это выглядит как let x = 4; в повседневной жизни это похоже на дату рождения — она остается неизменной.
• Апериодические задачи допускают повторное присваивание по значению. Модель должна найти самое недавнее значение и может игнорировать более ранние. В коде это выглядит как x = 4 с последующим x = 2; в повседневной жизни это похоже на термометр, где текущую температуру определяет последняя настройка.
• Разрешимые задачи добавляют самореферентные обновления. Каждое обновление основывается на текущем значении, поэтому модель должна переносить изменения дальше, а не просто находить последнее присваивание. В коде это выглядит как x = x + 5; в повседневной жизни это похоже на счет в игре, где каждое новое очко прибавляется к текущей сумме.
• Общие конечные задачи добавляют присваивание по ссылке. Одна переменная может принимать текущее значение другой переменной, создавая зависимости между обновлениями. В коде это выглядит как x = y или обмен значениями двух переменных. Представьте фокусника, прячущего шарик под одним из пяти стаканчиков, а затем многократно меняющего их местами. Чтобы найти шарик, нужно отслеживать, как эти перестановки меняют его местоположение. Это иллюстрирует задачу отслеживания состояния S₅: отслеживание того, как последовательные перестановки меняют местами пять объектов. Она относится к числу наиболее сложных на четырех наших уровнях и обсуждается в предыдущей работе об ограничениях отслеживания состояния.

Эти уровни можно интуитивно понять через присваивание переменных, но они также представляют собой теоретически обоснованные различия в отслеживании состояния, уходящие корнями в теорию Крона — Роудса — ветвь алгебры, которая описывает, как задачи отслеживания состояния (которые можно рассматривать как словесные задачи над конечными моноидами) могут быть разложены на атомарные примитивы. Каждый уровень в нашей иерархии соответствует классу задач отслеживания состояния, которые можно построить из определенного набора примитивов.

Чтобы честно сравнить все четыре уровня, мы берем общую конечную последовательность присваивания переменных и выводим из нее три более простые версии, получая четыре сопоставимых задания StateBench — по одному на каждом уровне сложности. Во всех четырех случаях используется одинаковое количество переменных и уникальных значений, а присваивания появляются в одних и тех же точках последовательности; меняется только тип присваивания.

Что мы обнаружили

Предобученные модели

Мы протестировали ряд открытых предобученных моделей на r-тривиальном, апериодическом и общем конечном уровнях StateBench, чтобы увидеть, где именно ломается их отслеживание состояния и терпят ли те или иные архитектуры неудачу там, где это предсказывает теория. Согласно стандартным теоретическим предположениям, трансформеры могут надежно справляться с r-тривиальными задачами (и в некоторой степени с разрешимыми и апериодическими), но, как предполагается, потерпят неудачу на общих задачах. Напротив, Gated DeltaNet с более гибким обновлением памяти в принципе способна справиться со всеми четырьмя уровнями.

Мы начали с открытых предобученных моделей, для которых полностью задокументированы обучающие данные и длины контекста. Среди них были две модели с 7 миллиардами параметров: Olmo 3 (трансформер) и Olmo Hybrid (дополненная слоями Gated DeltaNet), а также меньшие модели с 275 миллионами и 2,7 миллиарда параметров. Все эти модели были предобучены на одних и тех же данных; ни одна из них во время обучения не видела контексты длиннее 64 000 токенов, и большинство из них мы тестировали на входах, значительно превосходящих эту длину.

При оценке моделей выяснилось, что практически все они хорошо справились с r-тривиальными задачами, теряли точность на апериодических по мере роста входных данных и демонстрировали уровень случайного угадывания на общих конечных задачах. Здесь имел значение формат задачи: гибридная модель с 275 миллионами параметров и модели Gated DeltaNet показали результаты, близкие к максимуму, на r-тривиальных задачах в стиле RULER, но скатывались до случайного угадывания на тех же задачах, оформленных как правки в электронной таблице. Этот разрыв — одна из причин, почему StateBench проверяет одну и ту же базовую проблему в нескольких форматах.

Передовые модели

Затем мы протестировали четыре передовые модели — Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna, — попросив их прочитать каждую последовательность присваивания переменных и сгенерировать финальное значение каждой переменной.

Все четыре модели показали хорошие результаты на r-тривиальных и апериодических задачах. Но на разрешимых и общих конечных задачах точность резко падала по мере увеличения длины входных данных, снижаясь до 13% и ниже на самых длинных общих конечных задачах. Одним из вероятных факторов является чувствительность: на этих более сложных уровнях гораздо больше шагов могут повлиять на окончательный ответ, оставляя меньше права на ошибку в обновлении, чтобы модель не выдала неверный результат.

Модели, обученные непосредственно на этой задаче

Затем мы исследовали, отражают ли трудности моделей со сложными уровнями ограничения самих архитектур или же предварительное обучение просто не учит модели их решать. Целенаправленное прямое обучение — это более благоприятные условия, которые показывают, в какой степени проблемы отслеживания состояний проистекают из базовой архитектуры и оптимизатора, а не из данных, использованных для предварительного обучения модели.

Мы обучили несколько моделей с 275 миллионами параметров с нуля на StateBench: два варианта трансформеров, две гибридные модели и два варианта Gated DeltaNet с различными ограничениями обновления памяти. Модели обучались на последовательностях длиной до 256 присваиваний и тестировались на последовательностях длиной до 64 000 присваиваний, что в 250 раз превышает максимальную длину при обучении.

Архитектуры начали расходиться по мере увеличения длины последовательностей. Модели Gated DeltaNet и гибридные модели обобщались практически идеально на r-тривиальных, апериодических и разрешимых задачах на самых длинных протестированных нами последовательностях, достигающих десятков тысяч присваиваний. Трансформеры освоили более простые уровни, но деградировали на более длинных последовательностях и так и не научились решать общие конечные задачи. На самом сложном уровне вариант Gated DeltaNet с более гибким обновлением памяти продемонстрировал наибольшую способность к обобщению, оставаясь практически безупречным на длине примерно в 10 раз превышающей максимальную длину последовательностей, которые он видел во время обучения.

Для Gated DeltaNet и гибридных моделей этот разрыв указывает на особенности обучения, а не архитектуры; обученные напрямую, они научились справляться с уровнями отслеживания состояний, с которыми их предварительно обученные аналоги не справились. Трансформеры вели себя иначе — даже при прямом обучении они так и не смогли освоить самый сложный уровень.

Открытые вопросы и релиз

Некоторые вопросы остаются открытыми. Наше новое доказательство показывает, что Gated DeltaNet с более ограниченным обновлением памяти (неотрицательные собственные значения) может решать все апериодические задачи и определенные периодические задачи, такие как отслеживание того, встречался ли повторяющийся входной сигнал четное или нечетное количество чисел раз, в рамках арифметики фиксированной точности с округлением из статьи. Ее точное место в иерархии остается открытым, в том числе способность решать все разрешимые задачи и то, как числовая точность или ее сочетание со слоями внимания влияют на ее возможности. StateBench также предполагает фиксированное число переменных, в то время как реальные задачи часто вводят новые сущности со временем. Например, в длинном разговоре по мере его развития могут появляться новые люди и объекты, и модель должна начать отслеживать и их. Текущая фреймворк пока не охватывает этот сценарий.

По мере появления новых разновидностей рекуррентных и гибридных архитектур понимание того, с какими видами отслеживания состояний каждая из них может справиться, может помочь направить разработку и обучение будущих систем. Мы надеемся, что StateBench предоставит исследователям более точный инструмент для определения того, где модели дают сбой, а также для создания данных для обучения и оценки возможностей, которые все еще несовершенны. И что еще более важно, мы надеемся, что он послужит ориентиром для исследователей в деле разработки новых архитектур с более надежными возможностями отслеживания состояний по сравнению с текущими моделями.