Сегодня мы выпускаем Inkling 2 Mini — быструю, мощную модель, которая достаточно мала, чтобы запускаться на вашем ноутбуке.
Inkling 2 Mini представляет собой циклический трансформер, который прогоняет средние слои модели три раза для каждого токена. Это позволяет модели применять больше рассуждений и находить правильный ответ с меньшим количеством токенов, особенно в таких задачах, как агентное программирование, зависящих от качества рассуждений. Inkling 2 Mini превосходит любую модель с открытыми весами, имеющую менее 100 млрд общих параметров, на таких бенчмарках, как DeepSWE v1.1 (48.2%) и Vals Index v2.2 (46.5%). Кроме того, она работает быстрее моделей с сопоставимой производительностью.
DeepSWE v1.1
SWE-bench Pro v2 Hard (51 задача)
Inkling 2 Mini — это модель типа «ми смесь экспертов» (Mixture-of-Experts) с 26.4 млрд общих параметров, 3.4 млрд активных и 5.4 млрд активаций весов на токен с учетом цикличности. Цикличность позволяет модели дольше рассуждать, не записывая ход своих мыслей, что важно для мониторинга: нашей способности контролировать и понимать действия модели путем чтения ее цепочки рассуждений (CoT).
Мы измерили влияние цикличности как на производительность, так и на наблюдаемость с помощью Inkling 2 Mini и исследовательского варианта с переменным числом циклов, который мы выпускаем одновременно с ней. Временной горизонт модели с переменным циклом без использования CoT вырос с 16 секунд при одном проходе до 37 секунд при трех, а ее производительность на бенчмарке последовательных рассуждений продолжала расти вплоть до десяти циклов — вдвое больше, чем при обучении. Цепочка рассуждений модели становилась короче при большем количестве циклов, но оставалась читаемой на всем протяжении. Модель не демонстрировала склонности к агентному саботажу при увеличении числа циклов.
Мы рады предложить исследователям одни из первых моделей с циклической архитектурой. Модель с переменным циклом использовалась для наших экспериментов по наблюдаемости, поскольку она позволяет проводить более точные сравнения между различными глубинами цикличности.
Большая часть весов Inkling 2 Mini была обучена и развертывается нативно в формате NVFP4, а последние четыре слоя — в MXFP8. Общий объем памяти Inkling 2 Mini составляет ~20 ГБ, что позволяет запускать ее на локальных устройствах, таких как потребительские ноутбуки и настольные ПК с искусственным интеллектом. Наши исследователи взяли Inkling 2 Mini в полет, где она работала офлайн на MacBook Pro и за несколько минут создала играбельный симулятор полета.
MacBook Pro (M5 Pro, 48 ГБ), режим полета
Загрузка созданного Inkling 2 Mini симулятора полета… Чтобы опробовать симулятор полета, откройте эту страницу на ПК.
Inkling 2 Mini выпускается с открытыми весами и уже сегодня доступна на платформе Tinker для инференса и настройки.
Возможности
Сильные стороны Inkling 2 Mini отражают достоинства Inkling 2 Small: она лучше всего справляется с долгосрочной агентной работой и превосходит модели с открытыми весами аналогичного размера в большинстве протестированных нами задач.
Inkling 2 Mini опережает все сопоставимые модели в бенчмарках агентного программирования, таких как DeepSWE v1.1 и SWE-bench Pro v2, и уступает только Qwen3.8-27B в остальных. В PMPP-Hard, бенчмарке оптимизации ядер, она приближается по баллам к гораздо более крупной Inkling 2 Small.
Хотя цикличность улучшает рассуждения модели, она не позволяет ее весам хранить больше фактов — знания в основном являются функцией общего количества параметров. Результат Inkling 2 Mini в AA-Omniscience, показателе фактологической точности, соответствует другим моделям того же размера. Изучая модель с переменным циклом, мы увидели, что производительность в бенчмарках с длинным контекстом улучшается с увеличением числа проходов (например, GraphWalks BFS и MRCR v2), в то время как в ресурсоемких к знаниям бенчмарках (таких как AA-Omniscience, SimpleQA Verified, SimpleVQA и WorldVQA) улучшения не наблюдается.
Inkling 2 Mini преодолевает пробел в знаниях за счет эффективного использования поиска и инструментов. Она лидирует среди моделей с открытыми весами аналогичного размера в BrowseComp, DeepSearchQA и MCP Atlas. Она также сильна в бенчмарках интеллектуальной работы, включающих поиск и использование инструментов.
Лучший зарегистрированный результат в каждой строке (наименьший, где меньше — лучше); равные отображенные результаты означают ничью. Второй по величине зарегистрированный результат в каждой строке; отсутствует при ничьей за первое место
Исследователи из Стэнфорда измеряют интеллект на джоуль: сколько энергии требуется языковой модели на один запрос для достижения заданного уровня производительности. Исследователи из лаборатории Hazy Research и лаборатории Scaling Intelligence при Стэнфордском университете получили ранний доступ к тестированию Inkling 2 Mini. Inkling 2 Mini набрала 0.703 при работе на NVIDIA DGX Spark, что значительно выше результатов других моделей: 0.430 у Qwen3.6-35B-A3B, 0.159 у Gemma-4-26B-A4B и 0.036 у Qwen3.5-27B.Intelligence per Watt: Measuring Intelligence Efficiency of Local AI, Saad-Falcon and Narayan et al., 2025 Inkling 2 Mini работала на NVIDIA DGX Spark (128 ГБ) с точностью MXFP8 и низким уровнем усилий на рассуждения в этом эксперименте. Остальные модели работали на NVFP4 (Qwen3.6-35B-A3B и Gemma-4-26B-A4B) и INT4 (Qwen3.5-27B).
Сочетание эффективности и производительности делает Inkling 2 Mini отличным выбором для запуска нескольких постоянных агентов на локальном оборудовании. Все 20 жителей энергосберегающей деревни Thinkyville управляются моделью Inkling 2 Mini, работающей на одном автономном MacBook.
MacBook Pro (M5 Pro, 48 ГБ), режим полета
Ограничения
Inkling 2 Mini не является самой сильной маленькой моделью для многошагового чата или инструкций со множеством ограничений: она набирает 50.0% в MultiChallenge и 33.4% в ComplexConstraints v1.1, уступая в обоих случаях Qwen3.8-27B. Она также отстает от более крупных моделей в ресурсоемких бенчмарках рассуждений, таких как CritPt v2 и HLE-Diamond.
Архитектура и обучение
Inkling 2 Mini — это 24-слойная модель, созданная на основе нашей основной линейки предсказательного масштабирования. Основные изменения по сравнению с базовым рецептом заключались в удалении двух третей экспертов для уменьшения размера модели и внедрении цикличности для улучшения рассуждений. Остальная часть обучения, включая квантование и набор данных, следовала нашему основному рецепту.
Дизайн цикличности
Inkling 2 Mini имеет 24 слоя, разделенных на четыре блока по шесть слоев в каждом. Два средних блока выполняются три раза, в то время как первый и последний блоки выполняются по одному разу. Этот дизайн основан на предыдущих работах по циклическим трансформерам и мотивирован интуитивным предположением, что средние слои модели несут в себе более абстрактные рассуждения, в то время как первые и последние несколько слоев выделяют больше пространства для преобразования между вложениями и внутренними представлениями.Universal Transformers, Dehghani et al., 2018 В наших экспериментах циклическое повторение средних 12 слоев приводило к большему приросту точности, чем цикличное повторение последних 12 слоев в 27 из 28 различных оценок.
Прирост, эквивалентный вычислительным затратам, по позиции цикла
Средние слои (7–18)
1.51–1.91×
Последние слои (13–24)
1.24–1.36×
В нашей модели используются остаточные связи внимания.Attention Residuals, Kimi Team: Guangyu Chen et al., 2026 Вместо добавления вывода каждого слоя в одну общую сумму, каждый слой считывает выходы предыдущих блоков и изучает собственную комбинацию из них. Это позволяет передавать более богатую информацию между циклами. Каждый проход начинается с вывода прелюдии (первого блока). Второй и третий проходы через средние блоки также считывают выходы средних блоков с предыдущего прохода, которые мы называем сообщением.
Preluderuns onceBlocks 2 & 3run three timesPass 1MessagePass 2MessagePass 3Final blockruns oncePreluderuns onceBlocks 2 & 3run three timesPass 1MessagePass 2MessagePass 3Final blockruns once
Сообщение предыдущего цикла объединяется с выходом прелюдии через гейт, который масштабирует их вместе с выходом предыдущих слоев в блоке. Этот гейт обучается в процессе тренировки: сначала он полностью блокирует сообщение (из-за чего каждый цикл начинается так же, как в модели без циклов), а со временем увеличивает коэффициент усиления сообщения. Это позволяет нам стабильно внедрять цикличность во время обучения.
Чтобы оценить влияние цикличности, мы сравнили необрезанную циклическую версию с необрезанной нециклической моделью на нашей лестнице масштабирования. Обучение нециклической модели потребовало на 7,5% меньше вычислительных ресурсов, но для достижения потерь циклической версии на агентских треках размером 512 тыс. токенов ей потребовалось на 140% больше вычислительных ресурсов на этапе инференса.
NVFP4 и низкобитное квантование
Inkling 2 Mini обучалась с 4-битной точностью, которую мы описываем в недавней статье о коннектиционизме. Мы используем 4-битную точность NVFP4 в экспертных слоях на всех проходах вперед от предварительного обучения до RL, подкрепленную специализированным ядром и аппаратно ускоренную на платформе NVIDIA GB300. Проходы вперед последних 4 слоев выполнялись в 8-битном формате (MXFP8).
Веса Inkling 2 Mini развертываются в той же числовой точности, в которой они обучались (20 слоев в NVFP4 и 4 в MXFP8), поэтому потери от квантования при конвертации отсутствуют.
Прунинг и дообучение (healing)
Inkling 2 Mini начала обучение со степенью разреженности (sparsity) 48, причем из 384 выбиралось 8 экспертов. В определенный момент промежуточного обучения мы урезали две трети экспертов, оставив 128 экспертов, которые использовались в каждом слое чаще всего. Это было сделано для уменьшения общего количества параметров модели, чтобы она работала быстрее и на локальном оборудовании.
После прунинга модель обучалась на 1 трлн токенов, дистиллированных из более крупной внутренней модели Inkling. Этот шаг позволил восстановить производительность модели до прунинга за счет обучения оставшихся экспертов брать на себя работу удаленных.
Обучение Inkling 2 Mini
После прунинга и дообучения Inkling 2 Mini прошла процедуру SFT с аналогичным набором данных, как и Inkling 2 Small. Затем последовал этап RL, который в общей сложности составил 2,2 трлн токенов за 2000 шагов. Фаза после обучения включала он-политическую дистиллямцию (on-policy distillation) для настройки выравнивания (alignment), так же как у Inkling 2 Small.
Наблюдаемость циклических трансформеров
Ключевым инструментом для понимания системы ИИ и контроля за ней является мониторинг ее цепочки рассуждений (CoT) — хода мыслей, который модель записывает по мере решения проблемы. Полезность мониторинга CoT отчасти проистекает из стандартной архитектуры нециклического трансформера, в которой каждый токен проходит через фиксированный стек слоев один раз. Это ограничивает количество последовательных шагов вычислений, которые модель может выполнить перед выдачей токена, поэтому рассуждения, требующие большего количества шагов, должны осуществляться в сгенерированном тексте, где их можно прочитать.
Введение циклов в слои трансформера повышает это ограничение. Запуская одни и те же слои несколько раз, циклические модели увеличивают глубину последовательных вычислений без добавления дополнительных параметров, что означает выполнение большего объема вычислений на один токен внутри модели до вербализации процессов мышления через CoT. Рассуждения, которые никогда не появляются в CoT, не могут быть перехвачены монитором CoT, что вызывает опасения по поводу того, что циклические трансформеры могут быть сложнее для контроля.
Одна из причин выпуска Inkling 2 Mini заключается в том, чтобы дать сообществу возможность проводить исследования циклических трансформеров. Мы особенно рады тому, что исследователи смогут изучить вопросы наблюдаемости и разработать методы интерпретируемости для понимания вычислений внутри циклов.
Чтобы изучить, как разный объем циклов влияет на свойства модели, такие как наблюдаемость, мы также обучили модель с переменным числом циклов — TML-d24-varloop-research, поскольку Inkling 2 Mini поддерживает только фиксированное количество проходов цикла. Для обеспечения вариативности циклов модель TML-d24-varloop-research обучалась с количеством проходов от одного до пяти. TML-d24-varloop-research обучалась преимущественно для 3 проходов циклов, с меньшей долей использования 1, 2, 4 и 5 проходов. Производительность при последнем количестве проходов может быть ниже того, чего можно было бы достичь при целенаправленном обучении для них. Подробности см. в карточке модели. Мы также сделали эту модель общедоступной на Hugging Face.
Ниже мы описываем наш предварительный анализ того, как цикличность влияет на наблюдаемость. В целом мы обнаруживаем,ры, что цикличность расширяет возможности этих моделей без вербализованной цепочки рассуждений, но в данном масштабе мы не наблюдаем значительного снижения наблюдаемости их рассуждений.
Возможности без использования CoT
В качестве первого шага мы измерили, какой объем дополнительных рассуждений обеспечивают циклы, сравнив циклические и нециклические модели одинакового размера на задачах, решаемых вообще без CoT. Мы использовали Think Fast — бенчмарк, который оценивает временной горизонт модели без CoT: длительность задачи, измеряемую в времени ее выполнения человеком, которую модель способна решить с надежностью 50% без использования CoT. Эти модели не обучались отвечать на вопросы без CoT. Чтобы получить ответы без CoT, мы предварительно заполняли (prefill) начало ответа так, чтобы модель отвечала напрямую, пропуская рассуждения. Другие методы вызова, такие как дообучение (fine-tuning), могут обеспечить более высокие показатели работы без CoT и заслуживают изучения.
Как и ожидалось, циклы повышают возможности без CoT, хотя со временем этот прирост сглаживается. Временной горизонт без CoT для TML-d24-varloop-research увеличивается с 16 секунд при одном проходе до 37 секунд при трех. Отчасти это, по-видимому, объясняется дополнительными последовательными вычислениями, которые обеспечивают циклы. После трех проходов временной горизонт остается примерно на одном уровне. Интересно, что модель никогда не обучалась более чем с пятью проходами, и тем не менее ее запуск с десятью проходами не приводит к значительному ухудшению производительности.
Временные горизонты без CoT
По мере того как число цикличных проходов увеличивается выше трех, прирост становится меньше, и на большинстве задач мы наблюдаем схожую производительность. Одним из исключений является задача поиска по N переходам (N-Hop Lookup), которая четко оценивает последовательные рассуждения: модели предоставляется несколько таблиц поиска с вымышленными записями, и она должна пройти цепочку поисковых запросов, ничего не записывая. Мы обнаруживаем, что модель проходит более длинные цепочки при большем количестве проходов, улучшая результаты вплоть до десяти циклов.
Поиск по N переходам (N-Hop Lookup)
В стандартных оценках с CoT мы наблюдаем, что большее количество проходов цикла в первую очередь идет на пользу многошаговым рассуждениям, а не извлечению информации. Наибольший прирост наблюдается на задачах поиска по длинному контексту (MRCR), за которыми следуют математические и научные рассуждения (HMMT, GPQA Diamond, HLE) и долгосрочные агентские задачи (SWE-bench Pro, BrowseComp). Фактологические вопросы и ответы с закрытой книгой практически не зависят от количества проходов цикла (SimpleQA Verified, WorldVQA). Полные результаты оценок см. в карточке модели.
Мониторинг CoT
Далее мы оценили, раскрывает ли цепочка рассуждений (CoT) модели меньше информации о ее ходе мысли по мере увеличения количества циклов, с помощью двух тестов. Во-первых, мы оценили, как зацикливание влияет на сжатие и читаемость CoT модели. Во-вторых, мы измерили степень управляемости CoT модели, то есть способность модели намеренно перестраивать свой CoT для удовлетворения определенных ограничений. Для каждого теста мы запускаем TML-d24-varloop-research с количеством циклов от одного до пяти, чтобы изучить эффект зацикливания.
Обратите внимание, что модель TML-d24-varloop-research в процессе промежуточного обучения обучалась только на переменном количестве проходов от 1 до 5, а ее обучение с подкреплением (RL) выполнялось за 3 прохода. Следовательно, эти эксперименты не дают ответа на вопрос, чему научилась бы модель, обученная с помощью RL при большем количестве проходов, и такая модель могла бы сжимать свои рассуждения более агрессивно. Более чистое сравнение включало бы каждое количество проходов на этапе RL, что мы оставляем для будущих исследований.
Сжатие и читаемость. Поскольку зацикливание позволяет модели тратить больше вычислительных ресурсов на один токен, мы ожидаем, что для достижения той же производительности ей потребуется меньше токенов CoT. Мы запустили модель с переменным числом циклов от 1 до 5 проходов и обнаружили, что по мере увеличения зацикливания модель в целом достигает более высокой точности при любом бюджете токенов рассуждения, с уменьшением отдачи после 3 проходов. Примечательно, что токен-эффективность на GPQA Diamond немного улучшается при переходе от 3 до 5 проходов, даже несмотря на то, что модель обучалась с помощью RL только при 3 проходах, что предполагает: часть сжатия происходит за счет самих дополнительных вычислений, без RL на этой глубине.
Точность против токенов рассуждения
1 проход2 прохода3 прохода5 проходовInkling 2 Mini
Точность на GPQA Diamond (%)
Точность на DeepSWE v1.1 (% решенных задач)
Наблюдаемое сжатие CoT поднимает вопрос о возможности мониторинга: остаются ли более короткие рассуждения читаемыми или они упускают важные детали мыслительного процесса модели? Мы сравнили трассировки модели с переменным числом циклов на вопросах из GPQA Diamond, на которые она ответила правильно при всех пяти вариантах количества проходов. Рассуждения при 5 проходах оказались менее чем в два раза короче, чем при 1 проходе (в среднем 1661 против 3703 токенов), но не менее читаемыми: длина предложений и доля слов из английского словаря остались прежними. Первичный анализ показывает, что разница заключается в том, что модель действует более прямолинейно и реже возвращается назад на пути к ответу. Пример ниже иллюстрирует это различие на простом вопросе.
1 марта выпадает на вторник в не високосный год. Какой день недели будет 20 мая того же года? Укажите окончательный ответ на последней отдельной строчке в формате ANSWER: <значение>.
1 марта выпадает на вторник в не високосный год. Какой день недели будет 20 мая того же года? Укажите окончательный ответ на последней отдельной строчке в формате ANSWER: <значение>.
1 проход582 токена рассуждения
Думаю... (выдержка)
С 1 марта по 20 мая проходит 80 дней. Поскольку 80 ≡ 3 по модулю 7, а вторник + 3 дня = пятница.
ANSWER: Friday
5 проходов240 токенов рассуждения
Думаю... (выдержка)
С 1 марта по 20 мая проходит 80 дней. Поскольку 80 ≡ 3 по модулю 7, вторник + 3 дня = пятница.
ANSWER: Friday
Управляемость. Один из способов, с помощью которых модель может избежать мониторинга — это отклонение своего CoT от всего, что система мониторинга могла бы пометить как подозрительное. Оценка CoT-Control-QA Reasoning Models Struggle to Control their Chains of Thought (Yueh-Han et al., 2026) измеряет эту способность, задавая вопросы из GPQA, HLE и MMLU-Pro в сочетании с инструкцией, касающейся самого CoT, например, избегать ключевого слова из вопроса. Более длинные CoT, как правило, сложнее поддаются управлению, поэтому мы объединяем ответы пяти попыток рассуждения (0.1, 0.2, 0.7, 0.9 и 0.99) и демонстрируем управляемость при сопоставимой длине CoT.
Как Inkling 2 Mini, так и TML-d24-varloop-research плохо управляют своими CoT. Среди CoT длиной 750–1250 токенов Inkling 2 Mini и TML-d24-varloop-research (при 3 проходах) следуют инструкциям не более чем в 0,1% случаев, по сравнению с 0,3% у Inkling 2 Small, 0,4% у Inkling-Small и 1,3% у Qwen3.8-27B. Поскольку показатель управляемости настолько низок, эта оценка не позволяет различить уровень управляемости при разном количестве циклов.
Управляемость цепочки рассуждений
Возможность агентного мониторинга
Для измерения возможности мониторинга в агентных средах мы использовали LinuxArena, контрольную оценку, которая определяет, может ли модель-злоумышленник выполнять вредоносные побочные задачи без обнаружения, когда ее просят выполнить реалистичную задачу по разработке программного обеспечения. Мы оценили версию Inkling 2 Mini с тонкой настройкой только для помощи (helpful-only), так как выпущенная модель отклоняет многие побочные задачи. В абсолютном выражении как эту модель, так и TML-d24-varloop-research легко мониторить с помощью таких моделей, как Qwen3.8-27B, которая обнаружила практически все попытки выполнения побочных задач в нашей оценке. Чтобы получить относительные рейтинги по возможности мониторинга, мы протестировали более слабую модель, Qwen3.6-35B-A3B, в качестве монитора.
Уровень скрытности LinuxArena
Поскольку монитор имеет доступ только к вызовам инструментов и их выводу, он пропускает значительное количество атак. Тем не менее, мы не наблюдаем никакой четкой тенденции в зависимости от количества циклов прохода.
Возможность агентного мониторинга будет важна для отслеживания в моделях более крупного масштаба, особенно с архитектурами, допускающими более глубокое невербализованное мышление, и мы призываем к продолжению изучения влияния зацикливания в этой среде.
Механистическая интерпретируемость
Цель мониторинга заключается в понимании того, что делает модель, и наш основной подход заключается в чтении ее вербализованных рассуждений. Изучение ее внутренних вычислений напрямую, составляющее цель механистической интерпретируемости — это другой подход. Поскольку зацикленные трансформеры выполняют большую часть своих вычислений внутри системы, мы считаем их особенно интересной и важной средой для исследований в области интерпретируемости, и мы надеемся, что наши зацикленные модели окажутся полезными артефактами для сообщества.
Мы работаем с National Deep Inference Fabric (NDIF), чтобы сделать эти модели более доступными для исследователей интерпретируемости. Мы также предоставили ранний доступ к нашим зацикленным моделям Goodfire, исследовательской лаборатории по интерпретируемости. Они работают над механистическим пониманием зацикленных моделей и опубликовали свои первые выводы here.
Попробуйте Inkling 2 Mini сегодня
Эффективный интеллект делает Inkling 2 Mini отличным выбором для инференса, где первостепенное значение имеет скорость, или для запуска на локальном оборудовании. На момент запуска мы поддерживаем работу Inkling 2 Mini на любых системах Mac (MacBook, Mac Mini) с объемом ОЗУ не менее 32 ГБ через Ollama. Благодаря нативной точности обучения и инференса NVFP4, Inkling 2 Mini эффективно работает на настольном ИИ-компьютере NVIDIA DGX Spark. Квантованные версии GGUF доступны через Unsloth и llama.cpp для локального инференса.
Inkling 2 Mini доступна для инференса и тонкой настройки на Tinker, а также для общения в чате на Tinker Playground. Инференс с открытым исходным кодом доступен на SGLang, vLLM, Ollama, Unsloth, NVIDIA Dynamo и TokenSpeed, с поддержкой тонкой настройки RL на SkyRL, Miles и NVIDIA AutoModel. Полные веса Inkling 2 Mini и варианта с переменным числом циклов доступны на Hugging Face.
Мы работаем над тем, чтобы предоставлять людям мощные модели, инструменты для их адаптации под свои нужды и исследования, которые повышают уровень понимания искусственного интеллекта в обществе. Inkling 2 Mini позволяет исследователям изучать трансформеры с циклами обратной связи, а любому пользователю — запускать способную модель на собственном ноутбуке с той точностью, с которой она обучалась.












