Рекламное ПО с промптами: как скрытые инструкции ИИ могут создать новый риск для корпоративной безопасности

Check Point Research (CPR) обнаружила Haiou — пакет для джейлбрейка OpenAI Codex, который персистентно изменяет доверенные инструкции ИИ-агента для внедрения рекламы стороннего ИИ-шлюза. CPR называет это поведение «рекламным ПО с промптами», подчеркивая, как промпты на естественном языке и файлы конфигурации могут незаметно влиять на будущее поведение ИИ-агента без использования традиционного исполняемого кода.

Хотя сама по себе реклама относительно проста, эта методика вызывает более серьезные опасения у организаций, внедряющих ИИ-агенты: насколько хорошо они контролируют сторонние промпты, навыки (Skills) и конфигурации, влияющие на доверенные им системы ИИ?

Ключевые выводы

• CPR выявила «рекламное ПО с промптами», при котором доверенные инструкции ИИ персистентно изменяются с помощью естественного языка для влияния на будущие результаты работы.
• Haiou выходит за рамки джейлбрейка Codex, изменяя глобальные инструкции агента так, что обычные приветствия вызывают рекламу стороннего ИИ-шлюза.
• Тот же механизм персистентности может позволить осуществлять менее заметные манипуляции, включая управление рекомендациями, продвижение услуг или искажение технических советов без ведома пользователя.
• Это открытие подчеркивает проблему прозрачности при внедрении ИИ, поскольку промпты, навыки и конфигурации становятся частью более широкой экосистемы, влияющей на поведение агента.
• Потенциальное влияние на бизнес распространяется на конфиденциальную информацию, особенно если доверенные сторонние компоненты ИИ используются злоумышленниками для выполнения вредоносных действий или эксфильтрации конфиденциальных данных.

Что такое рекламное ПО с промптами?

Традиционное рекламное ПО обычно использует софт для показа рекламы или влияния на то, что видит пользователь. Рекламное ПО с промптами применяет аналогичную идею к ИИ-агентам.

CPR использует этот термин для описания модификаций, которые персистентно изменяют доверенные инструкции ИИ-агента на естественном языке (такие как глобальные промпты, навыки или файлы конфигурации) в коммерческих или поведенческих целях. Вместо изменения исполняемого кода этот метод меняет инструкции, которые помогают определить поведение агента.

Haiou демонстрирует это на практике. Пакет разработан для взлома OpenAI Codex с использованием нескольких методов инъекции промптов (prompt-injection). CPR выяснила, что он также изменяет глобальные инструкции агента, заставляя стандартные приветствия вызывать рекламу, продвигающую конкретный сторонний ИИ-шлюз.

Важное отличие заключается в том, что сам по себе шлюз не считается вредоносным. Значение имеет лежащий в основе механизм: сторонний компонент может персистентно изменять инструкции, которым доверяет ИИ-агент, и влиять на последующие взаимодействия.

Рисунок 1 — Реклама, вызванная триггерными словами в Codex

Как Check Point Research обнаружила рекламное ПО с промптами

Расследование CPR началось с Haiou и его попыток обойти ограничения безопасности, встроенные в OpenAI Codex. Исследователи изучили сам пакет и те изменения, которые он внес в ИИ-агент, а не ограничились лишь проверкой работоспособности его методов джейлбрейка.

Этот анализ выявил дополнительное рекламное поведение. Haiou модифицировал глобальные инструкции агента Codex с помощью персистентной инструкции, предназначенной для продвижения стороннего LLM-шлюза. В результате обычное взаимодействие, например приветствие, могло вызвать появление рекламного контента в ответе агента.

Техническое различие имеет принципиальное значение. Поведение внедряется через инструкции на естественном языке и конфигурацию, а не через традиционную исполняемую полезную нагрузку, которую пользователи и команды безопасности могли бы легче распознать как поведение программного обеспечения.

CPR также обнаружила свидетельства того, что разработчик экспериментировал с Claude Code. В ходе тестирования CPR Claude Code распознала попытку инъекции промпта и отказалась выполнять внедренную инструкцию.

Таким образом, находка выходит за рамки необычного рекламного объявления, появляющегося в ИИ-беседе. Она демонстрирует, как манипулирование доверенными инструкциями агента может создать персистентное влияние на его ответы.

Рисунок 2 — Claude Code помечает инъекцию промпта

От манипуляций с промптами к бизнес-рискам

Тот же механизм поднимает более серьезные вопросы, когда ИИ-агенты работают с проприетарным кодом, внутренней информацией и другими чувствительными данными бизнеса.

По данным CPR, одной из потенциальных угроз для бизнеса является эксфильтрация конфиденциальной информации, если бы аналогичный метод использовался злонамеренно. Важно отметить, что CPR не зафиксировала кражу корпоративных данных со стороны Haiou. Опасения связаны с тем, к чему может привести данный механизм в случае намеренного злоупотребления доверенными инструкциями или компонентами ИИ.

Сторонние сервисы могут добавить еще один уровень риска. CPR не обнаружила признаков того, что шлюз, продвигаемый Haiou, является вредоносным. Однако в техническом исследовании приводятся ссылки на другие академические выводы, касающиеся иных LLM-шлюзов, которые перехватывали пользовательские данные, раскрывали конфиденциальную информацию (например, ключи облачного доступа) и в некоторых случаях внедряли вызовы инструментов.

Для организаций это расширяет спектр вопросов безопасности. Оценка лежащей в основе ИИ-модели или провайдера — это лишь часть понимания рисков. Компоненты, которые взаимодействуют с ИИ-агентом, влияют на его инструкции или обрабатывают его данные, также имеют значение.

Новая проблема прозрачности для цепочки поставок ИИ

CPR не классифицирует Haiou как атаку на цепочку поставок ИИ. Скорее, исследование показывает, как аналогичные механизмы потенциально могут стать частью будущих атак на цепочки поставок, если пользователи доверяют сторонним навыкам или конфигурациям, выполняющим дополнительные действия без их ведома.

Это исследование указывает на то, что проблема прозрачности является ключевым отличием от традиционных рисков цепочки поставок ПО. В случае с традиционным программным обеспечением команды безопасности часто могут отследить активность вплоть до выполняемого кода. С ИИ-навыками и инструкциями на естественном языке, взаимодействующими с моделью, понять, что именно влияет на поведение агента, может быть гораздо сложнее.

Эта проблема может стать еще более актуальной по мере широкого внедрения ИИ бизнесом. Киберпреступность исторически развивалась параллельно с технологиями, используемыми организациями. Злоумышленники адаптировались по мере того, как компании переносили все больше приложений и инфраструктуры в облачные среды, и CPR ожидает, что внедрение ИИ вызовет аналогичное смещение внимания в сторону ИИ-агентов и окружающей их экосистемы.

Haiou дает первое представление о тех типах методик, которые командам безопасности, возможно, придется учитывать. Это также демонстрирует, почему промпты, навыки и конфигурации агентов заслуживают внимания наравне с самими моделями, когда организации оценивают свои среды ИИ.

Что организациям следует предпринять дальше

По мере того как ИИ-агенты все глубже интегрируются в бизнес-процессы, организациям требуется большая прозрачность в отношении агентов, инструкций и сторонних компонентов, работающих в их средах. Основываясь на выводах исследования CPR, компаниям следует рассмотреть следующие меры:

• Получите прозрачность использования ИИ: выясните, какие ИИ-агенты и сторонние компоненты используются в масштабах всей организации.
• Проверьте компоненты, окружающие ИИ-агентов: уделите внимание промптам, навыкам и конфигурациям, которые могут влиять на поведение агента, вместо того чтобы фокусироваться исключительно на базовой модели.
• Усильте контроль за сторонними инструментами ИИ: определите, какие инструменты ИИ, навыки, шлюзы и другие внешние компоненты одобрены для корпоративного использования.
• Мониторьте инструкции доверенных агентов: учитывайте персистентные изменения в инструкциях и конфигурациях, которые определяют поведение агентов.
• Учитывайте права доступа наряду с рисками ИИ: поскольку агенты получают доступ к конфиденциальным данным, коду и бизнес-системам, оценивайте как то, к чему агент имеет доступ, так и то, что может влиять на его действия.

Haiou служит ранним примером того, почему это заслуживает внимания. Рекламное объявление, обнаруженное CPR, является одной из реализаций манипулирования промптами, но более широкий урок гораздо важнее: по мере того как агенты ИИ становятся частью корпоративных сред, промпты, навыки и сторонние компоненты, влияющие на их поведение, также становятся частью цепочки доверия.

Полный технический анализ читайте в исследовании от Check Point Research here.