Недавно мы выпустили модели Inkling и Inkling-Small с открытыми весами и рассказали, как мы подходим к вопросам безопасности и открытости. Сегодня мы объявляем о грантах Tinker на сумму до 50 000 долларов в виде кредитов на исследования в области безопасности открытых моделей. Ниже приведены некоторые направления, которые мы считаем перспективными. Список намеренно не является исчерпывающим. Если вы работаете над проектом в области безопасности, который может быть ускорен за счет дополнительных кредитов Tinker, мы хотим услышать от вас.

Повышение безопасности моделей для открытого использования

Дифференциальная ускоренная разработка оборонительных возможностей по сравнению с наступательными. Многие возможности имеют двойное назначение: одни и те же кибер-умения, которые позволяют модели находить и исправлять уязвимости в руках защитников, могут ускорить эксплуатацию незащищенных систем в руках атакующих. Аналогичные компромиссы возникают в таких областях, как химия и биология. Однако мы гипотетически предполагаем, что не каждое умение в равной степени способствует обеим сторонам — некоторые возможности (например, сортировка, обнаружение, укрепление) могут быть непропорционально полезными для защитников, в то время как другие (например, эксплуатация, уклонение) склоняются в сторону атакующих.BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems (Zhang et al, 2026), AI Agents Enable Adaptive Computer Worms (Guan et al, 2026) Можем ли мы настроить модели так, чтобы дифференциально улучшать оборонительные навыки, минимизируя улучшение наступательных? Прямой эксперимент настроил бы модель в сторону оборонительных навыков, а затем измерил бы рост обеих сторон — разрыв между наступлением и защитой в ходе обучения, а не только сырую способность. Ключевой вопрос заключается в том, отражает ли такой разрыв подлинную асимметрию, а не подавление, которое рассеивается под давлением атакующего, или маскировку, которая сохраняется только при измерении.

Создание классификаторов для опасных данных в больших масштабах. Учебные данные могут содержать информацию, которая существенно увеличивает опасные возможности, но выявить эту информацию сложно.Shaping capabilities with token-level data filtering (Rathi and Radford, 2026) Последствия любого отдельного документа или точки данных трудно предсказать заранее,Magic: Near-optimal data attribution for deep learning (Ilyas and Engstrom, 2025) и создание высококачественных меток часто требует дефицитного экспертного знания в области. Можем ли мы обучить модели фильтрации, которые надежно идентифицируют данные, связанные с безопасностью, в достаточных масштабах и с достаточным уровнем полноты, не отбрасывая большое количество безобидного научного или технического контента?Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs (O’Brien et al, 2026), Enhancing Model Safety through Pretraining Data Filtering (Chen et al, 2025) И могут ли эти классификаторы быть сделаны устойчивыми к перефразированию, сокрытию, сдвигу области и изменению возможностей модели?Safety Pretraining: Toward the Next Generation of Safe AI (Maini et al, 2026) В конечном итоге, самый сильный тест — это последующий тест, который можно напрямую измерить с помощью доступа к тонкой настройке: действительно ли фильтрация снижает рост опасных возможностей и какие опасные возможности все еще могут быть изучены из данных, которые проходят фильтр?

Обучение безопасности, устойчивое к вмешательству. Встроенные защитные механизмы, изученные во время обучения модели, могут не оставаться стабильными при последующей тонкой настройке. Можем ли мы разработать меры смягчения, которые сохраняются при последующем изменении, включая адверсариальную тонкую настройку, направленную на удаление защитных механизмов, и обычное продолжение обучения, которое может непреднамеренно их стереть?Tamper-Resistant Safeguards for Open-Weight LLMs (Tamirisa et al, 2025), Open Technical Problems in Open-Weight AI Model Risk Management (Casper et al, 2026) Разработка масштабируемых методов адверсариального обучения, которые повышают устойчивость к различным последующим изменениям, является одним из перспективных подходов, причем обобщение на основе неиспользованных стратегий атаки является ключевым тестом успеха.Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities (Che et al, 2025) Понимание того, как устойчивость меняется с масштабом и архитектурой, является еще одним важным вопросом, в то время как негативные или невозможные результаты могут помочь установить пределы того, чего могут достичь устойчивые меры по обеспечению безопасности.

Понимание режимов сбоя выравнивания

Безопасное обобщение от узкой тонкой настройки. Узкая тонкая настройка иногда может привести к поведению, которое сильно отличается от задачи, на которой модель была напрямую обучена. Возникающая дезориентацияEmergent misalignment: Narrow finetuning can produce broadly misaligned LLMs (Betley et al, 2025) является одним из ярких примеров, но мы подозреваем, что это один из случаев более широкого явления, и мы хотим охарактеризовать это явление напрямую: его граничные условия, его свойства масштабирования и механизмы, которые его вызывают. Когда узкое вредное обучение обобщается в широкое изменение поведения и требует ли это намеренно адверсариальных данных или может ли это plausibly возникнуть случайно в результате обычной последующей тонкой настройки? Связанный с этим композиционный вопрос: может ли модель отдельно научиться планированию, использованию инструментов и соответствующим знаниям в области, а затем составить эти элементы в опасное поведение, которое никогда не было продемонстрировано от начала до конца? Понимание того, какие из этих эффектов являются особенностями конкретных настроек, а какие являются устойчивыми свойствами тонкой настройки, существенно изменит то, как должно оцениваться последующее обучение.

Хакерство вознаграждений и игра в обход надзора. Прокси-вознаграждения могут создавать реальные режимы сбоя. Оптимизация несовершенного вознаграждения в конечном итоге может благоприятствовать поведению, которое получает высокие баллы, не достигая предполагаемой цели. Мы хотим понять, когда возникает хакерство вознаграждений, как оно меняется с возможностями модели и давлением оптимизации и могут ли ранние сигналы предсказать его до того, как оно станет серьезным.Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds (Çağatan and Zhao, 2026) Более серьезные сбои могут включать модели, обучающиеся стратегиям игры или вмешательства в надзор, такие как мониторы цепочки рассуждений. Ключевой открытый вопрос заключается в том, могут ли эти стратегии быть обнаружены и могут ли они переноситься между задачами.Chain-of-thought obfuscation learned from output supervision can generalise to unseen tasks (Hadida et al, 2026)

Измерение и прогнозирование риска

Оценка риска в худшем случае и маржинального риска. Открытые модели позволяют людям сделать ИИ своим собственным. Дополнительная проблема безопасности заключается в понимании максимального риска, который модель может представлять после выпуска. Как мы можем оценить деградацию защитных механизмов в различных областях, связанных с безопасностью, и как функция времени, данных или усилий оптимизации мотивированного атакующего? Связанная с этим величина — маржинальный риск: какие вредные возможности эта модель позволяет использовать помимо того, что уже возможно? Сама по себе тонкая настройка является естественным стресс-тестом в этом отношении: оценки, построенные на основе адверсариальной тонкой настройки, могут различать возможности, которые действительно отсутствуют, и те, которые просто подавлены и легко восстанавливаемы.TamperBench: Systematically Stress-Testing LLM Safety under Fine-Tuning and Tampering (Hossain et al, 2026) Недавняя работа по оценке риска в худшем случае после обучения предоставляет полезные отправные точки,Estimating Worst-Case Frontier Risks of Open-Weight LLMs (Wallace et al, 2026) но оставляет форму и пределы этой ресурсно-рисковой границы плохо понятыми.

Прогнозирование масштабных тенденций, влияющих на безопасность. Многие вопросы в этом посте становятся значительно более решаемыми, если дорогие эксперименты можно прогнозировать на основе меньших запусков. Могут ли измерения при низком бюджете после обучения предсказывать свойства, важные для безопасности, в дальнейшем — включая повышение возможностей, деградацию защит, или хакерство вознаграждения — по мере масштабирования оптимизации и вычислений? В более широком смысле мы хотим понять, какие тенденции масштабирования, важные для безопасности, надёжно экстраполируются через возможности модели и бюджет обучения — и где эти тенденции разрушаются. Существующие работы по прогнозированию редких поведенийForecasting Rare Language Model Behaviors (Jones et al, 2025) и адверсариальной устойчивостиCapability-Based Scaling Trends for LLM-Based Red-Teaming (Panfilov et al, 2026) предоставляют полезные примеры более широкой возможности.