📄 Технический отчет | 🤗 Данные | 💻 Code
Мы представляем , бенчмарк для отслеживания состояний в условиях длинного контекста, который оценивает, насколько хорошо языковые модели отслеживают информацию об объектах в длинных документах по мере их изменения.
Отслеживание состояний лежит в основе самых разных задач: от чтения кода, где переменные получают новые значения при присваивании, до слежения за сюжетом, когда персонажи физически перемещаются, а предметы переходят из рук в руки. Например, если в детективном романе говорится, что «Джон передал нож Мэри» прямо перед совершением убийства, важно понимать, что состояние каждого персонажа изменилось. Однако не все проблемы отслеживания состояний одинаково сложны: некоторые требуют лишь поиска последнего обновления, в то время как более сложные задачи предполагают прослеживание цепочки изменений, где один пропущенный шаг может исказить окончательный результат. Например, более сложный вариант нашего детективного примера с отслеживанием состояния — это ситуация, когда Джон передал Мэри предмет из своего рюкзака, причем ранее было известно, что Эдуард положил в рюкзак Джона нож.
Архитектура Transformer имеет хорошо известные из теории ограничения при решении сложных вариантов отслеживания состояний с длинными цепочками зависимостей. Это стимулирует развитие рекуррентных и гибридных архитектур, таких как Gated DeltaNet, способных переносить оперативную память дальше. Существующие тесты на отслеживание состояний обычно фокусируются на наиболее сложных случаях, однако по мере распространения таких архитектур исследователям необходимо знать, с какими именно видами отслеживания состояний справляется каждая из них. Мы хотим понять различия между архитектурами не только на самых сложных задачах отслеживания состояний, но и на более простых, потенциально более распространенных.
С этой целью мы разработали бенчмарк StateBench, охватывающий задачи отслеживания состояний различной степени сложности. Мы использовали его для оценки различий между языковыми моделями с разными архитектурами. Результаты показывают, что рекуррентные и гибридные модели способны к гораздо более широкой генерализации, чем трансформеры, если они обучаются непосредственно на этих задачах. В то же время передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna, все еще дают сбои на более сложных формах отслеживания состояний по мере увеличения длины входных данных.
Четыре уровня отслеживания состояний
StateBench состоит из четырех уровней сложности, которые допускают все более сложные операции обновления состояний. Для программистов эти уровни сложности отслеживания состояний можно соотнести с поддержкой различных типов операций присваивания переменных:
- R-тривиальные задачи используют неизменяемое (immutable) присваивание. Значение переменной никогда не меняется, поэтому модели нужно лишь восстановить то, каким оно было установлено изначально. В коде это выглядит как let x = 4;, а в повседневной жизни — как дата рождения: она остается неизменной.
- Апериодические задачи допускают переприсваивание по значению. Модель должна найти самое недавнее значение и может игнорировать более ранние. В коде это выглядит как x = 4, за которым позже следует x = 2; в повседневной жизни это похоже на термометр, где текущую температуру определяет последняя настройка.
- Разрешимые задачи добавляют самоссылочные (self-referential) обновления. Каждое обновление опирается на текущее значение, поэтому модель должна переносить изменения дальше, а не просто находить последнее присваивание. В коде это выглядит как x = x + 5;, а в повседневной жизни — как счет в игре, где каждое новое очко добавляется к текущему итогу.
- Общие конечные задачи добавляют присваивание по ссылке. Одна переменная может принимать текущее значение другой переменной, создавая зависимости между обновлениями. В коде это выглядит как x = y или обмен значениями двух переменных. Представьте фокусника, который прячет шарик под одним из пяти стаканчиков, а затем многократно меняет их местами. Найти шарик означает отслеживать, как эти перестановки меняют его местоположение. Это иллюстрирует проблему отслеживания состояний S₅: прослеживание того, как последовательные перестановки переставляют пять объектов. Она относится к числу наиболее сложных среди наших четырех уровней и обсуждается в предыдущих работах об ограничениях отслеживания состояний.
Эти уровни можно интуитивно понять через присваивание переменных, однако они также представляют собой теоретически обоснованные различия в отслеживании состояний, уходящие корнями в теорию Крона — Роудса. Это раздел алгебры, описывающий, как задачи отслеживания состояний, которые можно рассматривать как словесные задачи над конечными моноидами, могут быть разложены на атомарные примитивы. Каждый уровень в нашей иерархии соответствует классу задач отслеживания состояний, которые могут быть построены из определенного набора примитивов.
Чтобы честно сравнить все четыре уровня, мы берем общую конечную последовательность присваиваний переменных и выводим из нее три более простые версии, получая четыре сопоставимые задачи StateBench — по одной на каждом уровне сложности. Во всех четырех случаях используются одинаковое количество переменных и уникальные значения, а присваивания появляются в одних и тех же точках последовательности; меняется только тип присваивания.
Что мы обнаружили
Предобученные модели
Мы протестировали ряд открытых предобученных моделей на r-тривиальном, апериодическом и общем конечном уровнях StateBench, чтобы выяснить, где именно ломается их механизм отслеживания состояний и терпят ли неудачи разные архитектуры там, где это предсказывает теория. Согласно стандартным теоретическим предположениям, трансформеры способны надежно справляться с r-тривиальными задачами (а также в определенной степени с разрешимыми и апериодическими), но, как предполагается, должны терпеть неудачу на общих задачах. Напротив, Gated DeltaNet с более гибким обновлением памяти в принципе способна справиться со всеми четырьмя уровнями.
Мы начали с открытых предобученных моделей, для которых полностью задокументированы обучающие данные и длина контекста. Среди них были две модели с 7 миллиардами параметров: Olmo 3 (трансформер) и Olmo Hybrid (включающая слои Gated DeltaNet), а также меньшие модели с 275 миллионами и 2,7 миллиарда параметров. Все эти модели были предобучены на одних и тех же данных; ни одна из них во время обучения не видела контексты длиннее 64 000 токенов, и при этом мы тестировали большинство из них на входных данных, значительно превышающих эту длину.
При оценке каждой модели оказалось, что практически все они хорошо справляются с r-тривиальными задачами, теряют точность на апериодических по мере роста контекста и демонстрируют результаты на уровне случайного угадывания на общих конечных задачах. Формат задачи здесь имел значение: гибридная модель с 275 миллионами параметров и модели Gated DeltaNet показали результаты, близкие к максимуму, на r-тривиальных задачах в стиле RULER, но скатывались до уровня случайного угадывания на тех же задачах, оформленных в виде табличных правок (spreadsheet edits). Этот разрыв — одна из причин, почему StateBench тестирует одну и ту же базовую проблему в нескольких форматах.
Передовые модели
Затем мы протестировали четыре передовые модели — Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna, — предложив им прочитать каждую последовательность присваиваний переменных и сгенерировать финальное значение каждой переменной.
Все четыре модели показали хорошие результаты на r-тривиальных и апериодических задачах. Но на разрешимых и общих конечных задачах точность резко падала по мере увеличения длины входных данных, опускаясь до 13% и ниже на самых длинных задачах общего конечного типа. Одним из вероятных факторов является чувствительность: на этих более сложных уровнях гораздо больше шагов могут повлиять на конечный результат, оставляя меньше права на ошибку в обновлении состояния без неверного итогового ответа.
Модели, обученные непосредственно на этой задаче
Затем мы исследовали, отражает ли сложность моделей на более сложных уровнях ограничения самих архитектур или же предварительное обучение просто не учит модели их решать. Целенаправленное прямое обучение — это более благоприятные условия, которые показывают, в какой степени проблемы отслеживания состояния проистекают из базовой архитектуры и оптимизатора, а не из данных, использованных для предварительного обучения модели.
Мы обучили с нуля несколько моделей с 275 миллионами параметров на StateBench: два варианта трансформеров, две гибридные модели и два варианта Gated DeltaNet с различными ограничениями обновления памяти. Модели обучались на последовательностях длиной до 256 присваиваний и тестировались на последовательностях длиной до 64 000 присваиваний, что в 250 раз превышает максимальную длину при обучении.
Архитектуры начали расходиться по мере увеличения длины последовательностей. Gated DeltaNet и гибридные модели обобщались практически идеально на r-тривиальных, апериодических и разрешимых задачах на самых длинных протестированных нами последовательностях, достигающих десятков тысяч присваиваний. Трансформеры освоили более простые уровни, но ухудшали результаты на более длинных последовательностях и так и не научились решать общие конечные задачи. На самом сложном уровне вариант Gated DeltaNet с более гибким обновлением памяти продемонстрировал наибольшую способность к обобщению, оставаясь практически безупречным на длине примерно в 10 раз превышающей максимальную длину последовательностей, виденных им во время обучения.
Для Gated DeltaNet и гибридных моделей этот разрыв указывает на проблему обучения, а не архитектуры: при прямом обучении они научились справляться с уровнями отслеживания состояния, с которыми их предварительно обученные аналоги не справлялись. Трансформеры вели себя иначе — даже при прямом обучении они так и не смогли освоить самый сложный уровень.
Открытые вопросы и релиз
Некоторые вопросы остаются открытыми. Наше новое доказательство показывает, что Gated DeltaNet с более ограниченным обновлением памяти (неотрицательные собственные значения) может решать все апериодические задачи и определенные периодические задачи, такие как отслеживание того, встречался ли повторяющийся вход четное или нечетное число лет, в рамках арифметики фиксированной точности с округлением, используемой в статье. Его точное положение в иерархии остается открытым, в том числе способность решать все разрешимые задачи и то, как числовая точность или сочетание с модулями внимания влияют на его возможности. StateBench также предполагает фиксированное количество переменных, в то время как реальные задачи часто вводят новые сущности с течением времени. Например, в длинном разговоре по мере его развития могут появляться новые люди и объекты, и модель также должна начать их отслеживать. Текущий фреймворк пока не охватывает этот сценарий.
По мере появления новых разновидностей рекуррентных и гибридных архитектур понимание того, с какими типами отслеживания состояния каждая из них может справиться, поможет направить разработку и обучение будущих систем. Мы надеемся, что StateBench предоставит исследователям более точный инструмент для определения того, где модели дают сбой, а также для создания данных обучения и оценки для возможностей, которые все еще несовершенны. И что еще более важно, мы надеемся, что он послужит путеводной звездой для исследователей в разработке новых архитектур с более надежными возможностями отслеживания состояния по сравнению с текущими моделями.
