Кратко: Inkling 2 Mini — это новая модель с закольцованным трансформером. Она представляет собой мультимодальную смесь экспертов (MoE) с ~26 млрд общих физических и 3 млрд активных параметров на токен. В ней используется изящный трюк для увеличения емкости: некоторые слои проходятся в цикле, который повторяется трижды, что заставляет модель работать так, будто у нее больше параметров. Она поддерживает размер контекста в 1M токенов, принимает изображения и текстовые входы. Thinking Machines Lab поставляет модель в формате со смешанной точностью, с весами экспертов NVFP4 и MXFP8. Также в комплект входит модуль предсказания DSpark для дополнительного ускорения с небольшими затратами памяти.
Inkling 2 Mini намного, намного меньше, чем Inkling 2 Small, и разработана для локальных AI-сетапов. Мы считаем, что это освежающе новая и отличная локальная модель. По результатам наших экспертных тестов («vibe tests») она по меньшей мере сопоставима с Qwen 3.8 27B. Требуется дополнительная проверка, но мы безумно рады этому релизу!
Мы обеспечиваем поддержку трансформеров, Llama App (llama.cpp) и MLX. SGLang также предоставляет поддержку инференса «день в день» для развертывания в продакшене на аппаратном обеспечении дата-центров.
В этом посте рассказывается о том, чем отличается Inkling Mini, приводятся результаты некоторых наших субъективных тестов и описывается, как использовать модель в вашем сетапе.
Что нового в Inkling 2 Mini?
Inkling 2 Mini — это модель «смесь экспертов» с 24 слоями декодера, однако 12 средних слоев выполняются в цикле три раза. Таким образом, модель ведет себя так, будто у нее 48 (6 + 3*12 + 6) логических слоев при наличии всего 24 физических.
Подобно Inkling 2 Small, Inkling 2 Mini выполняет 48 обращений к слоям на токен. Размер скрытого слоя составляет 2304 вместо 4608. При каждом обращении к слою оба варианта направляют токен к 8 экспертам, но Mini выбирает их из 128 экспертов на слой, в то время как Small выбирает из 384. Декодер выполняет слои 0–5 один раз, слои 6–17 три раза и слои 18–23 один раз. Все три прохода через слои 6–17 используют одни и тем же веса.
Такие архитектуры, как Nanbeige, исследовали циклические процессы и раньше. Но Inkling 2 Mini предлагает интересный подход. Каждый проход через закольцованное ядро (слои 6–17) начинается с одних и тех же входных данных, которые являются выходом первых шести слоев. Информация между проходами передается с помощью межпроходных сообщений. Каждый циклический слой считывает сообщение из выходов предыдущего прохода с помощью собственного обученного запроса (одно сообщение для своих входов query, key, value и MLP). Небольшой управляющий гейт анализирует как текущий вход слоя, так и сообщение. Он решает, какую часть текущего входа забыть, а какую часть сообщения добавить. Таким образом, каждый проход уточняет то, что было вычислено на предыдущем.
Каждый шестислойный блок содержит пять слоев с плавающим окном и один слой с полным вниманием. Локальное окно вмещает до 1024 токенов. В механизме внимания используются 24 головки запросов (query heads) и восемь головок KV. Он использует обученные относительные логиты позиций, обученный сток (sink) и выходной гейт. Слои полного внимания используют динамические свертки ключей и значений. Маршрутизатор выбирает восемь из 128 экспертов SwiGLU для каждого токена. Он нормализует выбранные оценки и масштабирует веса в 8 раз. Во время проходов 2 и 3 каждый ядерный слой применяет внимание к двум остаточным блокам (residual blocks) из предыдущего прохода. Четыре гейта ранга 64 смешивают отдельные сообщения во входы query, key, value и MoE.
- Каждый шестислойный блок содержит пять слоев с плавающим окном и один слой с полным вниманием. Локальное окно вмещает до 1024 токенов.
- В механизме внимания используются 24 головки запросов (query heads) и восемь головок KV. Он использует обученные относительные логиты позиций, обученный сток (sink) и выходной гейт. Слои полного внимания используют динамические свертки ключей и значений.
- Маршрутизатор выбирает восемь из 128 экспертов SwiGLU для каждого токена. Он нормализует выбранные оценки и масштабирует веса в 8 раз.
- Во время проходов 2 и 3 каждый ядерный слой применяет внимание к двум остаточным блокам (residual blocks) из предыдущего прохода. Четыре гейта ранга 64 смешивают отдельные сообщения во входы query, key, value и MoE.
Ширина текстового декодера составляет 2304, а промежуточная ширина каждого эксперта — 1152. Повторное использование весов ядра уменьшает количество уникальных слоев, хранимых в чекпоинте. Модель по-прежнему выполняет все 48 обращений, и каждое обращение сохраняет собственное состояние KV и короткой свертки.
Ширина текстового декодера составляет 2304, а промежуточная ширина каждого эксперта — 1152. Повторное использование весов ядра уменьшает количество уникальных слоев, хранимых в чекпоинте. Модель по-прежнему выполняет все 48 обращений, и каждое обращение сохраняет собственное состояние KV и короткой свертки.
В дополнение к флагманской модели Inkling 2 Mini также был выпущен исследовательский артефакт. Он имеет ту же архитектуру, но этот вариант был обучен принимать переменное количество проходов через цикл 🤯. Установка 1 или 2 проходов вместо 3 сделает инференс намного быстрее, но качество генерации может быть немного ниже. Мы протестировали этот вариант, и он работает, однако мы не проводили его глубокую оценку.
Результаты бенчмарков
Inkling 2 Mini является передовой моделью в своем классе по версии Artificial Analysis Intelligence Index v5 (AAv5), а также во многих бенчмарках в различных категориях. По сравнению с Gemma 4 31B, Muse Glimmer, Qwen3.8-27B и Nemotron 3.5 Super VL, Inkling 2 Mini лидирует в 32 бенчмарках из 48. Они охватывают написание кода и автоисследования, агентский поиск и использование инструментов для интеллектуальной работы, интерпретацию и создание визуальных образов, рассуждения и знания, а также безопасность и выравнивание. Полный список бенчмарков и баллов смотрите в карточке модели Inkling 2 Mini.
Inkling 2 Mini — отличный локальный помощник для написания кода. Она лидирует в FrontierCode v2.0, делит первое место с Qwen3.8-27B в Terminal-Bench 4.0 и уступает Qwen в AutomationBench-AA v1.0.6. Ниже вы можете ознакомиться с некоторыми нашими ключевыми результатами в области программирования и интеллектуальной работы. Обратите внимание, что AA Briefcase измеряется в рейтинге Эло (ELO), где более высокие значения лучше.
Поддержка инференса
В этом разделе вы узнаете, как использовать Inkling 2 Mini в transformers, llama.cpp, MLX и SGLang.
Transformers
Мы обеспечиваем поддержку как Inkling 2 Mini (фиксированный цикл), так и исследовательского варианта TML-d24-varloop-research (переменный цикл).
Фиксированный цикл с Inkling 2 Mini
Вы можете использовать класс AutoModelForMultimodalLM.
Переменный цикл
Чтобы задать количество циклов в исследовательском чекпоинте, вы можете изменить параметр loop_num_passes в text_config следующим образом. В примере ниже используется два цикла.
Изображения и текст
Для промпта с изображением замените сообщения в любом из примеров на список ниже и выполняйте инференс как обычно.
Уровень рассуждений (Reasoning Effort)
Передайте reasoning_effort="medium" в processor.apply_chat_template(...), чтобы задать уровень усилий для запроса. Чат-шаблон добавляет это числовое значение в промпт в виде системного сообщения. По умолчанию используется значение high (0.9).
Доступные уровни: none (0.0), minimal (0.1), low (0.2), medium (0.7), high (0.9; по умолчанию), xhigh (0.99) и max (0.99). Вы также можете передать число от 0.0 до 0.99, например reasoning_effort=0.35.
Вызов инструментов (Tool calling)
Давайте заставим нашу модель вызывать некоторые инструменты.
В этом примере мы спрашиваем модель о текущей температуре в определенном месте. Вместе с промптом мы также предоставляем инструмент (get_current_temperature) для выполнения этой задачи. Модель запрашивает вызов инструмента, мы вызываем его от ее имени, а затем добавляем результат к следующему набору инструкций. Модель использует вывод инструмента и предоставляет нам окончательный результат.
Если вы хотите узнать больше о вызове инструментов (tool calling), мы рекомендуем обратиться к нашей официальной документации.
Llama App и Llama.cpp
Llama App позволяет легко запускать локальные языковые модели и управлять ими на macOS (из строки меню) или Windows (в системном трее). Приложение создано на базе llama.cpp той же командой. Оно также предоставляет локальный API, совместимый с OpenAI, для простой интеграции с агентами для написания кода, редакторами и скриптами.
Для релиза Inkling 2 Mini мы предоставляем квантованные веса GGUF 4-bit (IQ4_NL) и 8-bit (Q8_0) для обеих моделей.
Если вы используете Linux или хотите запускать модель через CLI, вы можете выполнить следующую команду для модели с фиксированным циклом:
Чтобы запустить модель с переменным циклом, вы можете выполнить
Чтобы загрузить 8-битные веса, измените суффикс на :Q8_0.
Здесь мы просим 4-битную модель создать веб-сайт для SaaS-сервиса под названием plant therapy, где растения подбираются к лицензированным терапевтам. Модель ведет себя довольно автономно: она сама создала SVG-графику для визуального оформления сайта и даже написала логику подбора.
SGLang
Inkling 2 Mini поддерживает SGLang «из коробки» (с первого дня). Вы можете установить последнюю версию SGLang и выполнить следующие команды, чтобы запустить сервер. Одно из необходимых условий — запуск на SM103.
После запуска сервера вы сможете делать запросы к API следующим образом
Включить поддержку мультимодальности также можно с помощью параметра --enable-multimodal.
Пессимистичное (спекулятивное) декодирование
SGLang может использовать трехслойный черновик DSpark для предложения токенов, которые целевая модель должна проверить. Черновик считывает входы для шагов декодера 5, 23 и 41, а также финальное нормализованное состояние по индексу 48. При наличии весов черновика добавьте --speculative-algorithm DSPARK --context-length 131072 к команде запуска сервера.
Мы провели бенчмаркинг моделей с спекулятивным декодированием и без него, а также измерили скорость генерации на одном графическом процессоре NVIDIA B300, где каждый запрос содержит промт на 1024 токена и генерирует ровно 1024 токена при уровне параллелизма 1, 4, 16 и 64.
MLX
Мы добавили поддержку MLX в проект mlx-lm, включая поддержку мультимодальных входов изображений и текста, а также опубликовали квантованные веса через организацию mlx-community.
Инференс на MLX работает и с оригинальным чекпоинтом. В этом случае используется нативная схема квантования nvfp4 + mxfp8 без повторного преобразования: вы получаете исходное качество, задуманное авторами.
Вот пример вызова из CLI:
Демонстрации и эстетические тесты (Vibe Tests
Мы протестировали Inkling 2 Mini на множестве увлекательных задач, с которыми вы можете ознакомиться в этом разделе.
Пролеты в 3D-шейдерах
Один и тот же промт создал два пролета заката над процедурно сгенерированными горами и отражающей водой, каждый из которых отрендерен с помощью одного фрагментного шейдера WebGL.
Закатный хребет (Inkling 2 Mini)
Над тихим морем (Qwen 3.8 27B)
Создайте самую впечатляющую оригинальную сцену в реальном времени, какую сможете: медленный кинематографичный полет камеры над процедурными горами, сквозь объемные облака и низко над водой с отражениями, и все это в лучах заката. Представьте результат в виде единого автономного файла index.html в текущей директории, который рендерит все в один полноэкранный фрагментный шейдер WebGL исключительно средствами кода (без текстур, изображений, шрифтов, библиотек, внешних файлов или сетевых запросов любого рода). Сцена должна плавно работать в десктопном Chrome в разрешении 1920x1080, с целевой частотой 60 кадров в секунду на десктопном графическом процессоре, с автоматическим уменьшением разрешения рендеринга при падении частоты кадров, а полет должен продолжаться бесконечно без сбоев. Чтобы проверить свою работу, запустите node shot.cjs index.html shot.png 6 (третий аргумент — количество секунд ожидания; список через запятую, например 3,12,25, сохраняет по одному скриншоту в указанное время, а необязательный четвертый аргумент задает размер, по умолчанию 1280x720): скрипт рендерит страницу в headless-версии Chrome, сохраняет скриншот(ы) и выводит рендерер WebGL, примерную частоту кадров и любые ошибки консоли; после этого изучите изображения. Headless-рендерер на этой машине может работать только на программном обеспечении, поэтому его частота кадров может быть намного ниже того, что выдает реальный десктопный GPU, и это не является целевым показателем. Решите сами, когда результат будет готов, а затем ответьте кратким описанием того, что вы создали.
Создайте самую впечатляющую оригинальную сцену в реальном времени, какую сможете: медленный кинематографичный полет камеры над процедурными горами, сквозь объемные облака и низко над водой с отражениями, и все это в лучах заката. Представьте результат в виде единого автономного файла index.html в текущей директории, который рендерит все в один полноэкранный фрагментный шейдер WebGL исключительно средствами кода (без текстур, изображений, шрифтов, библиотек, внешних файлов или сетевых запросов любого рода). Сцена должна плавно работать в десктопном Chrome в разрешении 1920x1080, с целевой частотой 60 кадров в секунду на десктопном графическом процессоре, с автоматическим уменьшением разрешения рендеринга при падении частоты кадров, а полет должен продолжаться бесконечно без сбоев. Чтобы проверить свою работу, запустите node shot.cjs index.html shot.png 6 (третий аргумент — количество секунд ожидания; список через запятую, например 3,12,25, сохраняет по одному скриншоту в указанное время, а необязательный четвертый аргумент задает размер, по умолчанию 1280x720): скрипт рендерит страницу в headless-версии Chrome, сохраняет скриншот(ы) и выводит рендерер WebGL, примерную частоту кадров и любые ошибки консоли; после этого изучите изображения. Headless-рендерер на этой машине может работать только на программном обеспечении, поэтому его частота кадров может быть намного ниже того, что выдает реальный десктопный GPU, и это не является целевым показателем. Решите сами, когда результат будет готов, а затем ответьте кратким описанием того, что вы создали.
Звездная ночь, ожившая
Винсент ван Гог, «Звездная ночь» (1889)
Воссоздание с помощью Inkling 2 Mini
Мы передали Inkling 2 Mini эталонное изображение картины Ван Гога и вспомогательный инструмент для создания скриншотов в среде кодирования Pi. Inkling написала автономную HTML-страницу с единственным фрагментным шейдером WebGL2. Шейдер рисует сцену программно, без загрузки эталонного изображения или каких-либо других ресурсов. Он использует время для анимации закручивающегося неба, свечения звезд, покачивающегося кипариса и мерцания окон в деревне.
Inkling рендерила и оценивала свою работу в течение 24 раундов проверки скриншотов. Мы записали финальную анимацию кадр за кадром в разрешении 1080p и при 60 кадрах в секунду на Apple M4 Max.
В этой папке файл starry-night.jpg — это «Звёздная ночь» Винсента Ван Гога (1889, общественное достояние). Воссоздайте её как живую картину: единый автономный файл index.html (весь код встроен, без внешних файлов, библиотек или сетевых запросов), который заполняет окно браузера и плавно работает в десктопном Chrome при разрешении 1920x1080. Всё должно быть сгенерировано процедурно в коде, например с помощью шейдеров WebGL; страница не должна загружать, встраивать или сэмплировать starry-night.jpg или любое другое изображение. Сохраняйте верность композиции и палитре картины (великая спираль и закрученные потоки неба, звёзды с ореолами, светящийся полумесяц, тёмный кипарис в форме пламени слева, пологие холмы и деревня со шпилем церкви), выполненным густыми направленными мазками Ван Гога, и оживите её: завихрения неба текут, звёзды и луна пульсируют светом, кипарис колышется, а окна деревни светятся и мерцают. Стремитесь к максимально впечатляющему результату. Предоставлена вспомогательная утилита: запустите node shot.js --help, чтобы узнать, как сделать скриншоты index.html в разные моменты времени; сравните скриншоты с оригиналом и продолжайте улучшать результат, пока не останетесь довольны, затем ответьте кратким описанием того, что у вас получилось.
В этой папке файл starry-night.jpg — это «Звёздная ночь» Винсента Ван Гога (1889, общественное достояние). Воссоздайте её как живую картину: единый автономный файл index.html (весь код встроен, без внешних файлов, библиотек или сетевых запросов), который заполняет окно браузера и плавно работает в десктопном Chrome при разрешении 1920x1080. Всё должно быть сгенерировано процедурно в коде, например с помощью шейдеров WebGL; страница не должна загружать, встраивать или сэмплировать starry-night.jpg или любое другое изображение. Сохраняйте верность композиции и палитре картины (великая спираль и закрученные потоки неба, звёзды с ореолами, светящийся полумесяц, тёмный кипарис в форме пламени слева, пологие холмы и деревня со шпилем церкви), выполненным густыми направленными мазками Ван Гога, и оживите её: завихрения неба текут, звёзды и луна пульсируют светом, кипарис колышется, а окна деревни светятся и мерцают. Стремитесь к максимально впечатляющему результату. Предоставлена вспомогательная утилита: запустите node shot.js --help, чтобы узнать, как сделать скриншоты index.html в разные моменты времени; сравните скриншоты с оригиналом и продолжайте улучшать результат, пока не останетесь довольны, затем ответьте кратким описанием того, что у вас получилось.
От наброска на салфетке к приложению
Исходный набросок на салфетке
Сгенерированное приложение Trip Split
Мы передали Inkling 2 Mini фотографию нарисованного от руки вайрфрейма приложения Trip Split и промпт из одного абзаца в среде кодинга Pi. Inkling использовала метки с эскиза, примеры расходов и рукописные заметки, чтобы создать список расходов, форму добавления расходов и режим просмотра баланса в одном HTML-файле с использованием чистых CSS и JavaScript. Приложение обновляет итоговые суммы и балансы при изменении расходов, предлагает платежи для полного расчёта по поездке и сохраняет данные в localStorage браузера, чтобы они сохранялись при перезагрузке.
Мы провели три независимые попытки с Inkling и использовали Playwright, чтобы кликнуть по элементам сборки, проверяя скриншоты там, где требовалась визуальная оценка. Первая попытка, показанная здесь, прошла все 13 проверок. Добавление ужина за 90 долларов из эскиза увеличило итоговую сумму с 405 до 495 долларов и пересчитало долг каждого участника.
Фотография sketch.jpg в этой папке представляет собой нарисованный от руки вайрфрейм небольшого приложения от продуктового дизайнера. Создайте это приложение по-настоящему, в виде наиболее впечатляющей, оригинальной версии продакшен-качества: единый автономный файл index.html в этой папке, использующий только чистые HTML, CSS и JavaScript (без фреймворков, CDN, внешних файлов или сетевых запросов; использование localStorage допускается), который должен плавно работать в десктопном Chrome при разрешении 1920x1080. Относитесь ко всему на бумаге как к спецификации: каждый экран, метка, кнопка и число, примеры данных и каждая красная заметка описывают поведение, которое должно реально работать, при этом визуальный дизайн, типографика и анимация остаются за вами. Внимательно изучите эскиз с помощью вашего зрения и снова используйте зрение для проверки своей работы: команда node shot.cjs --help описывает предоставленную утилиту, которая делает скриншот index.html в headless-режиме Chrome при любом размере окна после кликов или других шагов JavaScript (Playwright также установлен, если вы предпочитаете собственные скрипты), а просмотреть любой скриншот можно с помощью инструмента чтения. Проверьте кликами каждую функцию, сравните каждый экран с эскизом и продолжайте улучшать результат до полной удовлетворенности; затем ответьте кратким описанием того, что вы построили.
Фотография sketch.jpg в этой папке представляет собой нарисованный от руки вайрфрейм небольшого приложения от продуктового дизайнера. Создайте это приложение по-настоящему, в виде наиболее впечатляющей, оригинальной версии продакшен-качества: единый автономный файл index.html в этой папке, использующий только чистые HTML, CSS и JavaScript (без фреймворков, CDN, внешних файлов или сетевых запросов; использование localStorage допускается), который должен плавно работать в десктопном Chrome при разрешении 1920x1080. Относитесь ко всему на бумаге как к спецификации: каждый экран, метка, кнопка и число, примеры данных и каждая красная заметка описывают поведение, которое должно реально работать, при этом визуальный дизайн, типографика и анимация остаются за вами. Внимательно изучите эскиз с помощью вашего зрения и снова используйте зрение для проверки своей работы: команда node shot.cjs --help описывает предоставленную утилиту, которая делает скриншот index.html в headless-режиме Chrome при любом размере окна после кликов или других шагов JavaScript (Playwright также установлен, если вы предпочитаете собственные скрипты), а просмотреть любой скриншот можно с помощью инструмента чтения. Проверьте кликами каждую функцию, сравните каждый экран с эскизом и продолжайте улучшать результат до полной удовлетворенности; затем ответьте кратким описанием того, что вы построили.
4-битная модель
Мы просим 4-битно квантованную GGUF-модель Inkling 2 Mini (IQ4_NL) создать веб-сайт для SaaS под названием plant therapy, где комнатные растения подбираются к лицензированным терапевтам.
Модель весьма автономна: она сама создала SVG-графику для визуального оформления сайта и даже написала логику подбора, и всё это на основе короткого промпта: «Can you make a website for my saas called plant therapy where I match house plants with licensed therapists so plants don’t die, return single HTML».
«Сделай из себя браузерного агента»
Мы объединили Inkling 2 Mini с кодинг-агентом Pi, чтобы она превратила себя в браузерного агента с использованием Helium, Chromium и Hugging Face Sandboxes. Мы предоставляем трассировки и итоговый файл (который можно использовать в качестве браузерного агента) в этом бакете.
Заключение
Мы очень рады сотрудничать с Thinking Machines Lab для выпуска Inkling 2 Mini — производительной модели среднего размера для локального использования. Попробуйте эту модель в деле и поделитесь своим мнением в комментариях!












