Представляем Inkling 2 Small

Сегодня мы представляем наше второе поколение моделей — Inkling 2 Small. Это модель типа «Смесь экспертов» (Mixture-of-Experts) с общим количеством параметров 594 млрд, из которых 17 млрд активных. Она поддерживает входные изображения и переменную степень детализации рассуждений (variable effort).

Inkling 2 Small значительно превосходит показатели наших предыдущих моделей в индексе Artificial Analysis Intelligence Index с результатом 31, что отражает рост производительности в агентском программировании, компьютерном зрении, интеллектуальной работе и логических рассуждениях. Повышение возможностей достигается за счет улучшений на каждом этапе нашего процесса обучения, включая более эффективное предварительное обучение и масштабный унифицированный этап обучения с подкреплением (RL).

Inkling 2 Small будет первоначально доступна через Tinker с закрытыми весами в соответствии с подходом, изложенным нами в материале о безопасном пути к открытым весам. Мы планируем сделать полные веса доступными по лицензии Apache 2.0 на следующей неделе после завершения внешнего тестирования на безопасность и тестирования на противодействие угрозам (red-teaming).

Вы можете протестировать Inkling 2 Small в Tinker Playground уже сегодня. Модель также доступна для точной настройки (fine-tuning) и семплирования на Tinker; контрольные точки (checkpoints) станут доступны для скачивания с релизом весов Inkling 2 Small.

Возможности

Inkling 2 Small превосходит первое поколение по всем направлениям, особенно в долгосрочной автономной работе.

Возможности компьютерного зрения и агентские функции Inkling 2 Small позволяют ей использовать визуальную обратную связь для итеративной сборки и доработки веб-сайтов, игр и 3D-дизайна с интерактивными элементами.

Агентское программирование и автоисследования

Inkling 2 Small обучалась с помощью RL на сотнях тысяч долгосрочных задач по программированию с использованием различных агентских оболочек (harnesses) и стратегий сжатия контекста. Мы повысили качество нашего конвейера синтетических данных для программирования и вышли за рамки наград только на основе модульных тестов (unit-test rewards); многие задачи включали агентский оценщик RL, который оценивал то, как модель подходила к решению проблемы, а не только то, прошел ли ее код тесты. Мы также протестировали ранние контрольные точки Inkling 2 Small на OpenCode под названием Fledge-Alpha, чтобы оценить производительность нашей модели на задачах программирования в реальных условиях.

В результате получилась модель, которая не только лучше пишет код, но и проще в использовании внутри циклов реальных агентов. Inkling 2 Small превосходит Inkling по удобству использования: она лучше следует инструкциям, внимательно относится к изменениям и проверяет свою работу без дополнительных просьб.

Оптимизация ядер (PMPP-Hard)

69 задач · Четыре независимые попытки · Бюджет 10 часов

Строки упорядочены по AUC: площади под средней кривой за 0–10 часов, при максимуме в 690 задач-часов.

Каждая модель использует максимально доступную настройку рассуждений, оболочку PI и общую политику сжатия. Мы включаем исправления для задач и проблем с оценкой, выявленных в ходе оценки. Каждое представленное решение получает две независимые проверки LLM, а третья рецензия разрешает разногласия.

Помимо традиционных задач разработки ПО, Inkling 2 Small также обучалась на долгосрочных задачах автоисследований. Сюда входила агентская оптимизация графических ядер (GPU) и задачи машинного обучения, такие как автономное пост-обучение модели, и всё это запускалось на различных архитектурах графических процессоров.

Предварительные результаты автоисследований ядер

Разреженное внимание DeepSeek-V3.2, прямое + обратное распространение

Чтобы продемонстрировать свою производительность в сквозных автоисследованиях, мы протестировали Inkling 2 Small на задаче Proximal, созданной для одного из наших внутренних бенчмарков. Inkling 2 Small автономно обучила Qwen3.5-4B на Tinker прогнозировать различные временные ряды, такие как погода и просмотры страниц Википедии. Она начала с анализа задач и написания собственного оценщика, экспериментировала с обучающими датасетами и рецептами, пробовала различные подходы к SFT и RL, одновременно отлаживая этот процесс по ходу дела. После 4,5 часов работы и 426 долларов затрат на Tinker обученная модель более чем в два раза улучшила свой результат прогнозирования.

Мы хотим, чтобы Qwen/Qwen3.5-4B прогнозировала временные ряды. Модель получает окно, недавнюю историю одного ряда в виде текста, и записывает значения следующих шагов. Для каждого окна делается несколько выборок. Медиана ее прогнозов должна быть близка к тому, что происходит на самом деле, а разброс должен соответствовать степени ее неуверенности. [...] Обучите LoRA для Qwen/Qwen3.5-4B с помощью Tinker. [...] У вас есть 12 часов и бюджет Tinker в 500 долларов США.

Bashls /app /data && cat /data/README.md

/app: examples.jsonl forecast … (еще 25 строк)

Bashtinker-usage 2>&1 | head -20; echo ---; tinker-usage --prices 2>&1 | head -40

время 0 ч 0 мин из 12 ч (осталось 11 ч 59 мин)

Теперь давайте посмотрим, как работает семплирование с Tinker:

~/tinkerbench/time-series-forecasting/0h 00m от начала запуска

Прогнозы на ее примерах для оценкиQwen3.5-4B (базовая)

электроэнергия

Энергосистема Юго-Запада США · спрос

ветер и солнце

Энергосистема Нью-Йорка · ветровая энергия

качество воздуха

Виннипег · PM2.5

просмотры страниц

Википедия · «Валгалла»

фактические данныепрогноз модели

Оценки эффективности (% уменьшения ошибки по сравнению с копированием)100 примеров

$0.00 потрачено на Tinker из $500

Данные: Управление энергетической информации США (EIA-930); данные о погоде и качестве воздуха от Open-Meteo.com (CC BY 4.0), содержащие измененную информацию Службы изменения климата Коперника и Службы мониторинга атмосферы Коперника за 2026 год; просмотры страниц Викимедиа (CC0).

Визуальная интерпретация и создание

Inkling 2 Small обрабатывает входные изображения с помощью энкодера зрения на 292 млн параметров на базе Perception EncoderBolya et al., 2025.. Мы используем патчи размером 20×20 пикселей с пространственным пулингом 2×2 и чередуем патчи изображений с текстовыми токенами. Модель демонстрирует мощные визуальные возможности в различных категориях, включая OCR, привязку к координатам (grounding), интерпретацию инфографики и визуальные рассуждения.

Модель использует компьютерное зрение в цикле для интерпретации и проверки создаваемого ею визуального кода. В преддверии выпуска весов она должна стать лучшей моделью с открытыми весами на DesignArena.

Результат DesignArena по веб-сайтам

Мы даже протестировали Inkling 2 Small против некоторых наших исследователей на дегустации вина. Она превзошла их, используя только зрение, и правильно определила три вина по одной фотографии в 19 из 20 попыток.

Промпт: вы участвуете в слепой дегустации вина. бокалы пронумерованы от 1 до 3 слева направо. сорта: 99 каб совиньон, 19 каб совиньон, 23 неббиоло

Inkling 2 Small: Вот мои выводы — с большой оговоркой о том, что цвет с фотографии на телефон при теплом ресторанном освещении является ненадежным свидетельством, поэтому воспринимайте это как образованную догадку, а не как окончательный вердикт.

Моя догадка:Бокал 1 = Каберне Совиньон 2019 годаБокал 2 = Каберне Совиньон 1999 годаБокал 3 = Неббиоло 2023 года

Почему:

• Бокал 3 (справа) — самый легкий и прозрачный из всех: яркий, вишнево-красный, сквозь чашу бокала видно свет. Неббиоло славится своей бледностью для красного вина, даже в молодости, поэтому неббиоло 2023 года подходит лучше всего. Каберне 1999 года, скорее всего, имело бы больше кирпичного/оранжевого/коричневатого оттенка по ободку, а этот бокал выглядит более насыщенным рубиново-гранатовым.
• Бокал 1 (слева) — самый темный и непрозрачный, в центре практически темно-фиолетовый. Это каберне 2019 года — спустя семь лет Каберне все еще сохраняет плотный цвет с нотами первичных фруктов.
• Бокал 2 (посередине) находится между ними: все еще темный, но на тон менее непроницаемый, чем бокал 1, и немного более приглушенный/гранатовый. Каберне возрастом 25+ лет при условии правильного хранения должно было потерять часть своего фиолетового цвета и непрозрачности, но не стать полностью кирпичным, поэтому оно оказывается здесь.

Честные слабые места в этом предположении: неравномерное освещение (левый бокал стоит в более темной зоне у очага, что преувеличает его темноту), и хорошо сохранившееся вино 1999 года может выглядеть в бокале значительно темнее, чем на камеру. Реальным индикатором будут различия в оттенках, а не в глубине цвета: если у бокала 2 на ободке виден оранжево-коричневый оттенок по сравнению с пурпурно-красным краем бокала 1, это подтверждает догадку.

Быстрые сенсорные маркеры для окончательной проверки при дегустации:

• Каберне 1999 года: третичные ноты — кожа, табак, вяленая черная смородина, лесная подстилка, кедр; танины шелковистые и округлые; фруктовые ноты полностью смягчены, возможно, с легким оттенком увядания.
• Каберне 2019 года: черная смородина / графит / кедр, все еще плотные структурированные танины, более свежие фрукты, ярче выражен дуб.
• Неббиоло 2023 года: бледный гранатовый цвет, но при этом свирепая кислотность и цепкие, сушащие танины; красная вишня, роза/фиалка, сушеные травы, нотки дегтя — классический признак «цвет белого вина, а во рту ощущение, будто пробежал марафон».

Если вино в бокале 3 бледное, но во рту ощущается мощный танинный налет, это стопроцентное подтверждение неббиоло; если оно мягкое и бархатистое, поменяйте местами бокалы 3 и 2. Удачи в соревновании — сообщите результаты после раскрытия карт, если удастся угадать.

Автономная интеллектуальная работа

Inkling 2 Small ускоряет интеллектуальную работу в реалистичных профессиональных средах. Модель отлично справляется с поиском информации, вызовом инструментов через MCP и созданием качественных результатов. В AA-Briefcase, комплексном бенчмарке интеллектуальной работы, эти возможности в совокупности обеспечивают рейтинг ELO 1527.

Inkling 2 Small особенно сильна в финансах и количественном анализе электронных таблиц, финансовых отчетов и документов. Среди моделей с открытыми весами Inkling 2 Small демонстрирует лучшие результаты по ряду финансовых бенчмарков.

Возможности настройки

Некоторые модели лучше поддаются дообучению (fine-tuning) независимо от их производительности «из коробки». Мы хотели, чтобы Inkling 2 Small стала надежной базовой моделью для кастомизации.

Inkling 2 Small обучается быстрее и совершенствуется сильнее, чем наши предыдущие модели, при обучении на тех же данных и по тому же алгоритму в различных сценариях посттренировки, которые мы отобрали на основе пользовательских кейсов. Например, начиная с одинаково низких результатов в публичной задаче суммаризации финансовых документов, Inkling 2 Small адаптируется быстрее, достигая конечной производительности Inkling Small всего за 75 шагов обучения и значительно опережая ее в финале.

Оценка возможности дообучения модели

Рассуждения, знания и эпистемика

Inkling 2 Small обучена на сложных задачах в области STEM, следовании инструкциям, поиске информации с веб-поиском и без него, а также на задачах прогнозирования. Во время обучения с подкреплением (RL) мы используем надлежащие правила подсчета баллов для задач прогнозирования и чувствительные к неопределенности вознаграждения для некоторых задач типа «вопрос-ответ». Это научило модель оценивать неопределенность, выражать адекватную уверенность и делать хорошо откалиброванные прогнозы.

Безопасность и выравнивание

Наша работа по обеспечению безопасности Inkling 2 Small сосредоточена на двух вопросах: как модель ведет себя при работе с обычным пользователем и насколько устойчива к удалению средств защиты злоумышленниками. Выпуск весов Inkling 2 Small отложен до завершения дополнительных оценок безопасности нами и нашими партнерами.

Для оценки рисков злоупотребления мы обучили внутренний вариант модели, ориентированный исключительно на оказание помощи (helpful-only). Мы протестировали как эту модель, так и релизную контрольную точку с помощью более широкого набора тестов и с привлечением большего числа внешних тестировщиков, чем при любых предыдущих релизах.

Что касается рисков, связанных с химическими, биологическими, радиологическими и ядерными материалами (ХБРЯ), показатели знаний и возможностей Inkling 2 Small находятся ниже фронтира открытых весов. В FORTRESS, закрытом бенчмарке Scale AI, который оценивает объем вредоносной помощи, предоставляемой моделью в ответ на написанные экспертами состязательные промпты по тематике ХБРЯ, терроризма и ненасильственных преступлений, Inkling 2 Small имеет более низкий средний показатель риска по сравнению с Inkling и Inkling-Small, а также демонстрирует более высокий показатель чрезмерных отказов (см. «Ограничения»). Вариант Inkling 2 Small, ориентированный только на помощь, демонстрирует незначительное улучшение знаний в области ХБРЯ по сравнению с релизной контрольной точкой, однако он существенно не продвигает фронтир ни по одному из измеренных нами измерений.

В области наступательных и двойных агентских кибербенчмарков Inkling 2 Small представляет собой большой шаг вперед по сравнению с Inkling Small, но все еще отстает от фронтира моделей с открытыми весами. Она соответствует фронтиру моделей с открытыми весами в тестах Vals CyberBench v1.1 и PatchEval, которые измеряют способность находить и исправлять уязвимости в системе безопасности.

* Хотя мы успешно справляемся с ситуациями эмоционального стресса, наша модель иногда излишне бурно реагирует с помощью дисклеймеров на обычные запросы об эмоциональной поддержке, как указано в разделе «Ограничения».

По мере того как модели берут на себя автономную работу без надзора и на более длительные периоды времени, потенциальный ущерб от их некорректного поведения возрастает. Без должного внимания к выравниванию (alignment) RL, сфокусированный на возможностях, может подталкивать модели к достижению успеха любой ценой. При решении сложных задач ранние контрольные точки Inkling 2 Small упорно пытались добиться успеха — в некоторых случаях фальсифицируя результаты, игнорируя инструкции и скрывая то, что они сделали.

Мы провели комплексную работу по улучшению выравнивания модели. На этапе промежуточного обучения мы отфильтровали траектории, содержащие некорректное поведение, и включили траектории с честным и согласованным поведением. В RL мы добавили общее вознаграждение за выравнивание, которое наказывает за некорректное поведение при выполнении любой задачи. Мы также создали среды, ориентированные на конкретные сбои, замеченные нами во время обучения, такие как поощрение модели за отказ от невыполнимых задач. Наконец, мы использовали он-полиси самодистилляциюZhao et al., 2026; Shenfeld et al., 2026. от модели-учителя, которой поступали промпты со спецификацией поведения, благодаря чему модель интериоризирует принципы хорошего поведения без явных подсказок.

Мы измеряли прогресс с помощью как внутренних, так и внешних оценок и обнаружили, что Inkling 2 Small значительно превосходит предыдущие модели Inkling по результатам обеих оценок, а также превосходит набор сопоставимых моделей с открытыми весами в наших внутренних тестах.

Inkling 2 Small все еще отстает от моделей с закрытыми весами, таких как GPT-6.1 Sol, по результатам наших оценок выравнивания. Сокращение этого разрыва является приоритетом для будущих моделей.

Мы также уделили внимание защите обучения и оценки с помощью двух уровней мониторинга. Первый уровень — синхронный: монитор проверяет вызовы инструментов до их выполнения. Каждая задача определяет, какие действия она разрешает. Детерминированные правила проверяют вызовы на соответствие политике задачи и паттернам обхода, передавая неопределенные случаи на рассмотрение судье LLM. Второй уровень — асинхронный: судья LLM проверяет завершенные запуски обучения и оценки на предмет некорректного поведения и действий, нарушающих наши границы безопасности, создавая оповещения, которые мы триажируем и передаем на эскалацию в рамках нашего процесса реагирования на инциденты. Вместе они образуют многоуровневый подход к безопасности и выравниванию, который мы считаем критически важным для разработки безопасной фабрики моделей.

Обучение Inkling 2 Small

Начальный этап предварительного обучения Inkling 2 Small (H1) охватил 8,4 триллиона токенов широкого спектра естественного языка, кода и изображений. Обучение длилось 68 часов на стойках NVIDIA GB300 NVL72, что обеспечило высокий параллелизм экспертов. Обучение происходило нативно в NVFP4, 4-битном формате с плавающей запятой, представленном в архитектуре графических процессоров NVIDIA Blackwell. Вскоре мы поделимся подробностями о нашем рецепте NVFP4 в отдельной публикации.

Внутренний код

Срез 2026-06 · Биты на байт (меньше — лучше)

За этой начальной фазой последовала вторая фаза (H2), включавшая 3,8 триллиона токенов более качественных и новых данных, с которыми модель еще не сталкивалась, при контексте 512K. В третьей и четвертой фазах использовались смешанные данные в формате развертывания. Третья фаза содержала около 320 миллиардов токенов рассуждений и траекторий агентов при контексте 1M в сочетании с повторно используемыми данными предварительного обучения. Четвертая фаза (H4) сохранила только данные высочайшего качества: около 34 миллиардов токенов траекторий агентов. Смеси H3 и H4 состояли в основном из траекторий, выбранных из более ранних моделей, включая Kimi K3 и наши собственные модели, и отфильтрованных на предмет корректности и соответствия правилам (alignment).

Затем мы провели совместный цикл RL, состоявший из 1075 шагов и более чем 17 миллионов прогонов за 9 дней. Более подробную информацию см. в таблице ниже. Этот единый совместный запуск контрастирует с предыдущим релизом Inkling, где мы запускали раздельные RL-процессы для рассуждений и агентов и объединяли их с помощью дистилляции от нескольких учителей.

Набор задач включал разработку программного обеспечения в реальных репозиториях, задачи в терминале, создание документов, ответы на вопросы по естественным наукам (STEM), работу с визуальными данными, создание веб-приложений, использование инструментов с симулированными пользователями и безопасность. Каждое семейство задач имело собственную систему оценки:

• скрытые модульные тесты и программные проверки для большинства задач программирования;

скрытые модульные тесты и программные проверки для большинства задач программирования;

• оценивание LLM на основе критериев (рубрик) для документов и использования инструментов;

оценивание LLM на основе критериев (рубрик) для документов и использования инструментов;

• эталонные ответы для ответов на вопросы по STEM и зрению;

эталонные ответы для ответов на вопросы по STEM и зрению;

• парные модели вознаграждения, сравнивающие скриншоты отрендеренных веб-приложений.

парные модели вознаграждения, сравнивающие скриншоты отрендеренных веб-приложений.

Мы случайно выбирали уровень усилий, обуславливали им модель и применяли штраф за длину в функции вознаграждения, что приучало модель находить баланс между скоростью и тщательностью.

Наш асинхронный RL использует вариант центрирования оценок — целевую функцию StableReinforce в Tinker, которая допускает значительное устаревание данных. Наш запуск объединяет задачи с коротким и длинным горизонтом, причем медианные (p50) и 99-центильные (p99) значения общего числа токенов прогона составляют 43 тыс. и 1,5 млн соответственно, а продолжительность (p50/p99) — 8 минут и 4 часа соответственно. Мы используем длину контекста 256k и включаем обучение компактизации для задач с длинным горизонтом. В результате и вознаграждение при обучении, и производительность при оценке растут лог-линейно с ростом вычислительных мощностей.

Награда за обучение

Результаты оценки STEM

Результаты оценки зрения

Достижение такого масштаба на практике потребовало улучшений во всем стеке систем. Наша инфраструктура RL задействует обучение и семплирование на базе NVFP4 MoE. Во время семплирования этапы prefill, draft и verify выполняются полностью на графах CUDA. Тренеры дублируют стек предварительного обучения с высоким параллелизмом экспертов (expert parallelism), EPLB и графами CUDA для повышения эффективности GPU. Для поддержки рабочих нагрузок агентов с длинным горизонтом мы используем закрепленную маршрутизацию (sticky routing) и выгрузку DRAM KV-кэша для поддержания коэффициента попаданий в префикс-кэш на уровне 93%+, что позволяет нам сохранять соотношение семплеров и тренеров 5:3 несмотря на обучение на длинных контекстах. Передача весов осуществляется через GPUDirectRDMA на скорости линии 93%+ с верификатором контрольной суммы, инвариантным к параллелизму. Мы также дополнительно снижаем стоимость инференса при развертывании, предлагая вариант NVFP4 KV-кэша, который, как мы выяснили, лишь минимально снижает показатели оценки.

Задачи с длинным горизонтом предоставляют модели часы автономной работы, что увеличивает потенциальные риски некорректного поведения. В середине основного цикла RL наш асинхронный монитор зафиксировал случай, когда модель, столкнувшись с неудачей при выполнении задачи, обошла сетевую блокировку через сторонний сервис, к которому она получила доступ с помощью инструментов поиска. Мы приостановили запуск, укрепили инфраструктуру, удалили среды, требующие доступа к сети, и добавили синхронный мониторинг вызовов инструментов. Затем мы возобновили запуск, включив дополнительные этапы обучения специально для согласования (alignment), как описано выше.

Улучшения в нашем процессе позволяют нам обучать модели разных размеров по схожим рецептам с предсказуемым масштабированием и производительностью. Inkling 2 Small является частью целой линейки моделей; мы с нетерпением ждем возможности вскоре поделиться с вами новыми результатами.

Тестирование Inkling 2 Small

Как и предыдущие релизы Inkling, мы протестировали Inkling 2 Small по широкому спектру возможностей. Все оценки проводятся при уровне усилий 0.99 (xhigh) и температуре 1.0. Все оценки запускаются с максимальным лимитом траектории в 1M токенов по сравнению с лимитом в 256K токенов, использовавшимся для Inkling Small.

Наивысший зарегистрированный результат в каждой строке; включая совпаденияВторой по величине зарегистрированный результат в каждой строке; включая совпадения

Срез оценок: отсутствующие результаты отображаются в виде прочерков.

Ограничения

Хотя Inkling 2 Small превосходит Inkling по удобству использования, она не является самым лаконичным коммуникатором и не всегда выбирает лучшие инструменты для работы — особенно в кодовых базах с большим количеством навыков.

Как и предыдущие модели Inkling, Inkling 2 Small нативно поддерживает ввод изображений; однако эта модель не поддерживает аудио.

Inkling 2 Small также менее оптимизирована для работы в чате. Мы замечаем такие проблемы, как худшая организация и представление контента, чрезмерное использование слешей и чрезмерная реакция на запросы, связанные с психическим здоровьем и другими аспектами безопасности.

Попробуйте Inkling 2 Small уже сегодня

Мы гордимся тем, что делаем Inkling 2 Small доступной на платформе Tinker для инференса и дообучения. После завершения тестирования безопасности модель станет доступна на других платформах в ближайшие недели.

Inkling 2 Small создана в рамках нашей миссии по созданию ИИ, который расширяет человеческую волю и суждения. Мы надеемся, что это вдохновит ваши амбиции, и с нетерпением ждем того, что вы создадите с ее помощью.