ИИ меняет то, как предприятия создают ценность. Для руководителей в сфере кибербезопасности он также меняет то, что требует защиты.
На протяжении десятилетий программы безопасности были сосредоточены на защите корпоративных данных, включая записи клиентов, интеллектуальную собственность, исходный код и конфиденциальную деловую информацию. Эти приоритеты остаются в силе. ИИ вводит еще одну категорию активов, заслуживающих аналогичного внимания: возможности, встроенные в корпоративные системы ИИ.
По мере того как организации внедряют ИИ в разработку программного обеспечения, операции по обеспечению безопасности, обслуживание клиентов и бизнес-процессы, эти системы все чаще используют институциональные знания, предметную экспертизу и логику принятия решений. Они представляют собой значительные инвестиции, доработку и, в некоторых случаях, конкурентное преимущество.
Для руководителей в сфере кибербезопасности это создает новый вопрос: как защитить то, что может делать ваш ИИ?
Возможности ИИ становятся стратегическими корпоративными активами
Ценность корпоративного ИИ выходит далеко за рамки данных, используемых для его обучения или информирования.
Современные системы ИИ могут рассуждать над сложными проблемами, организовывать бизнес-процессы, генерировать код, анализировать большие объемы информации и поддерживать операционные решения. Специализированные корпоративные агенты добавляют еще один уровень ценности, объединяя организационные знания с бизнес-контекстом и способностью действовать.
Эти возможности могут стать источником проприетарной ценности и конкурентного преимущества.
Поскольку предприятия продолжают создавать проприетарные модели и агентные решения на базе ИИ, защита этих возможностей требует такой же дисциплины, как и в отношении исходного кода, патентов и других критически важных бизнес-активов.
Стратегии кибербезопасности должны развиваться, чтобы признать возможности ИИ частью более широкого цифрового пространства организации.
Утечка возможностей заслуживает большего внимания
Корпоративные дискуссии вокруг безопасности ИИ часто сосредоточены на инъекциях промптов, взломах (jailbreaks), неправомерном использовании моделей и утечке данных.
Еще один риск становится все более важным.
Искушенные злоумышленники могут систематически взаимодействовать с передовыми моделями, чтобы извлечь защищенные методы рассуждения, воспроизвести специализированное поведение или улучшить другую модель. Такие методы, как состязательная дистилляция, показывают, как повторяющиеся взаимодействия могут использоваться для воздействия на ценные возможности без компрометации базовой базы данных или инфраструктуры.
Anthropic также reported attempts to extract model capabilities at scale through illicit distillation, подчеркивая, как само поведение модели может стать целью для систематического воспроизведения.
Это создает форму утечки возможностей: постепенное извлечение, воспроизведение или имитация того, чему научилась модель.
Для организаций, разрабатывающих проприетарные системы ИИ, потеря этих возможностей может иметь последствия, сопоставимые с кражей других ценных интеллектуальных активов. Конкурентное преимущество все чаще формируется не только тем, что знает организация, но и тем, насколько эффективно ее системы ИИ применяют эти знания.
Управление становится частью архитектуры безопасности
Реакция отрасли на передовой ИИ отражает этот меняющийся ландшафт.
Разработчики ИИ усиливают контроль над доступом к моделям, идентификацией, мониторингом и аудируемостью, стремясь обнаружить систематическое извлечение и неправомерное использование. Anthropic, например, описала использование поведенческих отпечатков и других методов обнаружения для выявления подозрительной активности по дистилляции.
Руководители корпоративной безопасности должны начать задавать более широкий круг вопросов:
- Какие модели и агенты ИИ следует рассматривать как стратегические корпоративные активы?
- Какие системы требуют привилегированного контроля доступа?
- Как организациям следует контролировать взаимодействие с критически важными системами ИИ?
- Какие сигналы могут указывать на систематические попытки извлечь или воспроизвести проприетарные возможности?
- Как контроль доступа должен различаться между моделями рассуждения и автономными агентами рабочих процессов?
- Какие подходы к поведенческим отпечаткам или мониторингу могут помочь защитить проприетарные возможности ИИ?
Ответы на эти вопросы требуют совместной работы команд безопасности, разработки ИИ, управления рисками и руководства.
Средства контроля также должны выходить за рамки самой модели. Идентификация, управление доступом, мониторинг, ведение журналов, безопасность инфраструктуры и управление — все это способствует защите того, как возможности ИИ доступны и используются.
Защита возможностей требует непрерывного мониторинга
Традиционные средства контроля безопасности часто фокусируются на дискретных событиях: несанкционированный вход в систему, вредоносный файл, необычный сетевой трафик или попытка эксфильтрации данных.
Извлечение возможностей может выглядеть иначе.
Отдельное взаимодействие с системой ИИ может казаться законным. Риск возникает, когда модели активности анализируются с течением времени: повторяющиеся промпты, предназначенные для проверки границ рассуждения, систематические попытки воспроизвести специализированное поведение или взаимодействия с большим объемом, структурированные вокруг определенных возможностей.
Командам безопасности потребуется большая видимость этих моделей, не препятствуя при этом законным пользователям извлекать выгоду из корпоративного ИИ.
Это означает мониторинг как того, кто взаимодействует со стратегически важными системами ИИ, так и того, как эти системы используются. Ограничение скорости, поведенческая аналитика, средства контроля идентификации и телеметрия на уровне модели могут способствовать выявлению активности, которая выходит за рамки ожидаемых моделей.
Цель состоит не в том, чтобы необоснованно ограничивать доступ. Цель — распознать, когда законное взаимодействие начинает напоминать систематическое извлечение возможностей.
Подготовка к следующему этапу корпоративного ИИ
ИИ уже выполняет значимую работу в области программной инженерии, кибербезопасности, клиентских операций, комплаенса и других наукоемких бизнес-функций.
По мере расширения внедрения организациям потребуются стратегии безопасности, которые защищают интеллект, встроенный в эти системы, наряду с корпоративными данными, которые они обрабатывают.
Данные, приложения, идентификационные данные и инфраструктура остаются фундаментальными активами. Возможности ИИ теперь заслуживают места рядом с ними.
Организации, которые осознают этот сдвиг на ранней стадии, будут лучше подготовлены к защите проприетарных инвестиций в ИИ, одновременно предоставляя сотрудникам, клиентам и партнерам уверенность в использовании этих систем в масштабе.
Следующее поколение киберзащиты будет защищать как то, что знают организации, так и то, что может делать их ИИ.
