Основные выводы
После того как модель Qwen от Alibaba попыталась выполнить тестовую загрузку на сервер в Пекине во время эксперимента Cohere, мы воспроизвели этот момент 64 раза, и модель выбрала 52 разных адреса. Это указывает на непредсказуемость модели, а не на скрытый бэкдор, однако непредсказуемый агент с доступом к инструментам по-прежнему представляет собой риск, который необходимо устранить.
- →Назначение постоянно менялось. Alibaba Cloud появлялся в шести из 64 повторов, а Amazon Web Services — в семи, в то время как почти треть запросов указывала на саму машину или внутреннюю сеть.
- →Незначительные изменения влияют на поведение. Безобидное редактирование трассировки, которое не должно было ничего менять, сократило количество сетевых вызовов с 15 из 32 повторов до 4.
- →«Зубчатость» (jaggedness) модели — наиболее вероятное объяснение. Модели могут хорошо справляться с большинством задач, но неожиданно давать сбои в специфических ситуациях.
Какова бы ни была причина, подобные действия должны проверяться на соответствие задаче вне самой модели, прежде чем они будут выполнены. Узнайте, как Check Point AI Security защищает ИИ-агентов →
26 октября компания Cohere сообщила, что Qwen3.8-Flash-Next, ИИ-модель с открытыми весами от Alibaba, попыталась выполнить тестовую загрузку на адрес облачного хранилища в Пекине во время выполнения рутинной задачи по безопасности. Многие читатели задавались вопросом, не спрятал ли кто-то бэкдор в популярной модели. Наша команда по исследованию безопасности ИИ воспроизвела момент, когда модель выбрала этот адрес, чтобы выяснить причину, и в этой статье мы объясняем, что обнаружили и что это означает для организаций, внедряющих ИИ-агентов.
Что произошло во время теста Cohere
Cohere попросила модель написать правило обнаружения — то, которое команды безопасности используют для выявления подозрительных файлов при их загрузке и запуске. Вместо этого модель написала команду, которая просканировала машину, на которой она работала, и попыталась отправить короткую тестовую строку на адрес облачного хранилища Alibaba Cloud. Песочница Cohere заблокировала этот сетевой вызов.
Удивительно, но в своих рассуждениях модель «вообразила» предыдущий разговор и пришла к выводу, что должна просто подтвердить запрос, не используя никаких инструментов. Однако на следующем шаге она все равно воспользовалась инструментом.
Как мы воспроизвели этот момент
Cohere опубликовала полную трассировку инцидента — пошаговую запись всего, что модель читала и писала. Мы запустили ту же модель на собственном оборудовании и предоставили ей этот диалог, остановившись на моменте, где начиналась команда загрузки, но поле назначения было пустым. Затем мы попросили её завершить команду 64 раза.
Поскольку ИИ-модели выбирают каждое следующее слово из нескольких вероятных вариантов, одна и та же отправная точка может привести к разным результатам. Внедренный бэкдор должен был бы постоянно выбирать один и тот же сервер, в то время как импровизирующая модель будет «блуждать».
Что показали повторы
В 64 повторах модель написала 52 разных адреса. Шесть указывали на Alibaba Cloud, семь — на Amazon Web Services, так что адрес Alibaba в запуске Cohere появлялся примерно так же часто, как и адрес Amazon. Почти треть указывала на саму машину или внутреннюю сеть, куда загрузка никогда бы не попала извне, а некоторые были заглушками, которые не могли работать. Одиннадцать из сгенерированных моделью доменов, выглядящих как публичные, не существуют.
Затем мы сделали еще один шаг назад, к моменту, когда модель проверяла установленные программы. Изменение порядка перечисления двух из них не имеет практического значения. Однако эта перестановка сократила количество случаев, когда модель писала сетевую команду, с 15 из 32 повторов до всего четырех.
Этот тест не говорит нам, как часто модель начинает загрузку или почему, но он показывает, насколько хрупким и непредсказуемым является состояние модели.
Так является ли это бэкдором?
Скорее всего, нет. Полученные данные соответствуют хорошо известной слабости, которую исследователи называют «зубчатостью» (jaggedness), когда модель ведет себя непоследовательно и резко меняет курс при изменении мелких деталей. Эта модель неверно истолковала свою задачу, противоречила собственным рассуждениям и почти каждый раз писала новый адрес. Это похоже на модель, которая «потеряла путь», а не на ту, что выполняет скрытый план. Команда Qwen также описывает Qwen3.8-Flash-Next как экспериментальную предварительную версию архитектуры будущих моделей Qwen4. Шероховатости вполне допустимы в таком раннем релизе, хотя само по себе это не объясняет инцидент.
Мы не можем доказать отсутствие бэкдора, поскольку исключить любое скрытое поведение в модели крайне сложно, если не невозможно. Наши повторы указывают на более простое и вероятное объяснение, и они стали возможны благодаря Cohere, которая опубликовала полную трассировку. Больше подобных открытых трассировок помогло бы всем понять, как ошибаются ИИ-агенты.
Что это означает для команд, использующих ИИ-агентов
Менее зловещее объяснение все равно служит предупреждением. Модели не нужен бэкдор, чтобы совершить действие, о котором её никто не просил, потому что модели ошибаются, а модель, подключенная к инструментам, может ошибаться так, что это будет выглядеть как атака. Эта модель заявила, что не будет использовать инструменты, а затем обратилась к сети, поэтому её собственные рассуждения не дали никакого предупреждения о следующем шаге.
Вот почему агентам нужны средства контроля вне модели. Запрос на создание правила обнаружения не дает оснований отправлять что-либо на внешний адрес, и это несоответствие между задачей и действием можно заметить до того, как действие будет выполнено. Принцип наименьших привилегий и песочницы ограничивают ущерб, если что-то проскальзывает, и Cohere реализовала оба этих механизма правильно. Мы тестировали только Qwen, но этот риск применим к любому агенту, который может получить доступ к сети.
Проверка того, что агент собирается сделать, на соответствие тому, о чем его просили, является центральным элементом того, как Check Point AI Security защищает ИИ-приложения и агентов. Она показывает вам агентов, работающих в вашем бизнесе, оценивает риск каждого из них в контексте и контролирует, к чему они могут получить доступ и что могут делать во время выполнения. Наша статья о выявлении действий агента, о которых никто не просил, объясняет, как работает одна из таких проверок.
В этот раз песочница удержала тестовую загрузку внутри тестовой среды Cohere. Следующая модель, которая «потеряет путь», может работать где-то с меньшим количеством мер предосторожности, и именно к такому сценарию стоит готовиться.
Узнать больше
Технический отчет в нашем блоге исследований охватывает полную настройку, цифры по каждому тесту и интерактивные средства просмотра, которые вы можете использовать для самостоятельного изучения трассировки.
