Shadow AI возникает, когда профессионалы используют инструменты, модели или агенты искусственного интеллекта без видимости, авторизации или надзора со стороны ответственных команд. Хотя это часто обусловлено вполне законными целями повышения производительности и инноваций, такое явление может порождать риски, связанные с конфиденциальной информацией, правами доступа, подключениями к корпоративным системам, прослеживаемостью, соблюдением нормативных требований и расходами. Решение заключается не в том, чтобы тормозить внедрение ИИ, а в том, чтобы установить механизмы управления, безопасности и контроля, которые позволят использовать его с гарантией надежности.
Shadow AI — это использование инструментов, моделей или агентов искусственного интеллекта вне корпоративных систем контроля, и эта практика может поставить под угрозу данные, безопасность, комплаенс, прослеживаемость и бюджет.
Что такое Shadow AI и почему она беспокоит специалистов по кибербезопасности?
Shadow AI — это использование инструментов, моделей или агентов искусственного интеллекта без видимости, авторизации или контроля со стороны команд, отвечающих за технологии, безопасность, конфиденциальность или комплаенс в организации.
Хэллоуин уже прошел, но бывают кошмары, которые длятся гораздо дольше одной ночи.
Наш главный герой Даниэль работает CISO в компании, предоставляющей программное обеспечение как услугу, также известной как SaaS. Он наслаждался костюмированной вечеринкой вместе с коллегами: музыка, выпивка и, впервые за долгое время, ни единого алерта безопасности.
Все шло прекрасно, пока к нему не подошел Фредди Крюгер с бокалом в руке.
— Какая же крутая штука этот ИИ! Сегодня утром я загрузил нашу клиентскую базу в публичный инструмент генеративного искусственного интеллекта, и он за секунды подготовил мне анализ портфолио. С именами, телефонами и всем остальным!
Наш CISO чуть не подавился напитком.
— Прости, Фредди… Ты загрузил личные данные наших клиентов куда?
Какие риски влечет за собой ввод корпоративной информации в неавторизованные инструменты ИИ?
Ввод личных данных, финансовых прогнозов, контрактов или другой корпоративной информации в неавторизованные инструменты искусственного интеллекта может затруднить контроль над их обработкой, доступом, хранением и потенциальным раскрытием. Уровень риска будет зависеть от используемого сервиса, его настроек, применимых условий и мер контроля, внедренных организацией.
Не успел он получить ответ, как появился Дракула.
— Это еще цветочки! Я загрузил наши прогнозы продаж и маржинальность на следующий квартал в ассистент с искусственным интеллектом. Он подготовил потрясающую презентацию для комитета.
Улыбка нашего главного героя начала исчезать.
Сзади подошел Франкенштейн, гордящийся своим последним творением.
— А я подключил ИИ-агент к нашему репозиторию контрактов! Теперь он может сам просматривать документы, искать пункты и делиться информацией. Я дал ему доступ ко всему, чтобы не заморачиваться с правами!
— Ко всему? Кто разрешил эти подключения? У нас есть прослеживаемость того, что делает этот агент?
Франкенштейн пожал плечами.
Какие риски создают ИИ-агенты с избыточными правами доступа?
Агент искусственного интеллекта с широкими полномочиями может получать доступ к большему объему информации, чем необходимо, взаимодействовать с различными системами и выполнять действия без достаточного контроля. Именно поэтому так важно применять меры контроля доступа, ограничивать полномочия и поддерживать прослеживаемость его действий.
И тут Даниэль увидел Майкла Майерса. Тот сидел в углу в тишине и молча пятился в свой ноутбук.
— Майкл… Ты что делаешь?
Майкл медленно развернул экран.
Его автономный ИИ-агент уже несколько часов подряд отправлял запросы к различным интерфейсам программирования приложений, известным как API, и тратил миллионы токенов без каких-либо видимых лимитов.
В этот момент появился финансовый директор — тоже в костюме, но с пятизначным счетом в руке.
Музыка смолкла.
Как Shadow AI может повлиять на расходы и соблюдение нормативных требований?
Использование инструментов и агентов ИИ без лимитов потребления, надзора или критериев авторизации может привести к непредвиденным расходам. Это также может вызвать вопросы, связанные с защитой данных, безопасностью, внутренней ответственностью и соблюдением применимых стандартов.
Появился специалист по юридической части и стал расспрашивать об обработке персональных данных. CEO потребовал объяснений. А кто-то только что объявил о внеплановой аудиторской проверке.
Общий регламент по защите данных, Европейский регламент по искусственному интеллекту, потенциальные инциденты безопасности, ответственность, непредвиденные расходы…
ААААХХХХ!
Даниэль проснулся в холодном поту.
Он посмотрел на часы. Седьмому часу утра.
Все это оказалось кошмарным сном.
Ну, почти все.
Почему Shadow AI появляется внутри компаний?
Shadow AI почти никогда не начинается со злого умысла. Обычно она возникает, когда человек пытается работать быстрее, автоматизировать задачу, проанализировать информацию или повысить свою производительность с помощью инструмента, который не входит в утвержденную технологическую среду.
Ведь какими бы вымышленными персонажами ни были Фредди, Дракула, Франкенштейн и Майкл Майерс, то, с чем только что столкнулся Даниэль, имеет вполне реальное название: Shadow AI.
Речь идет об использовании инструментов, моделей и агентов искусственного интеллекта без видимости и контроля со стороны команд, отвечающих за технологии и безопасность.
Самое любопытное, что это почти никогда не начинается со злых намерений. Все начинается с того, что кто-то хочет работать быстрее, автоматизировать задачу или повысить свою продуктивность.
Проблема возникает тогда, когда инновации развиваются быстрее, чем компания успевает выстроить средства контроля.
Как компании могут контролировать Shadow AI, не тормозя инновации?
Компании могут снизить риски, связанные с Shadow AI, обеспечив видимость используемых инструментов, защиту конфиденциальной информации, контроль доступа, ограничение полномочий, мониторинг подключений, а также отслеживание активности и потребления ресурсов агентами.
Целью должно быть не запрет на использование искусственного интеллекта, а создание среды, в которой его можно применять ответственно и в соответствии с политиками организации.
Для этого необходимо знать, какие инструменты ИИ используются, с какой целью, какую информацию они обрабатывают и к каким системам могут получить доступ. Организация также должна установить четкие критерии для утверждения инструментов, классификации информации, которую разрешено в них вводить, и определения того, какие действия требуют участия человека.
В случае с ИИ-агентами особенно важно применять принцип наименьших привилегий: каждый агент должен получать доступ исключительно к той информации и тем функциям, которые необходимы для выполнения его задачи.
Также целесообразно установить контроль над API, подключениями на базе Model Context Protocol, известного как MCP, и другими интеграциями, используемыми для связи моделей ИИ с корпоративными репозиториями, приложениями или системами.
Мониторинг активности, разрешений и потребления позволяет выявлять аномальное поведение, избыточный доступ и затраты, выходящие за установленные пределы.
Какую роль играют управление (говернанс) и кибербезопасность в внедрении ИИ?
Управление искусственным интеллектом позволяет определить зоны ответственности, процессы авторизации, технические элементы управления и критерии использования. Кибербезопасность помогает защитить информацию, контролировать соединения и снизить риски, связанные с неконтролируемыми инструментами или агентами.
Используя свои возможности в области кибербезопасности и в сотрудничестве с технологическими партнерами, Telefónica сопровождает компании во внедрении искусственного интеллекта посредством мер, направленных на:
- Получение видимости используемых инструментов ИИ.
- Защиту конфиденциальной информации.
- Установление контроля над API, соединениями MCP и другими интеграциями.
- Ограничение разрешений, назначенных агентам ИИ.
- Мониторинг активности и потребления.
- Определение политик управления и соответствия требованиям, адаптированных под организацию.
Этот подход связывает инновации с доверием и облегчает доступ к передовым цифровым технологиям, не отрывая их от безопасности, ответственности и контроля.
Потому что цель состоит не в том, чтобы сдерживать инновации, а в том, чтобы не допустить превращения кошмара на Хэллоуин в реальный инцидент.
Часто задаваемые вопросы
Что означает Shadow AI?
Shadow AI означает использование инструментов, моделей или агентов искусственного интеллекта без видимости, авторизации или контроля со стороны подразделений организации, отвечающих за технологии, безопасность, конфиденциальность или соответствие требованиям.
Почему сотрудники используют неавторизованные инструменты ИИ?
Обычно они стремятся работать быстрее, автоматизировать задачи, анализировать информацию или повысить свою производительность. Проблема возникает тогда, когда они используют эти инструменты вне установленных компанией регламентов.
Какую информацию нельзя вводить в неавторизованный инструмент ИИ?
В статье к особо чувствительной информации отнесены персональные данные, прогнозы продаж, финансовые маржи, контракты и другие корпоративные документы. Их использование будет зависеть от внутренней политики, самого инструмента, его конфигурации и применимых условий.
Какие риски может создать агент ИИ с доступом к корпоративным системам?
Он может получить доступ к избыточной информации, делиться контентом, устанавливать соединения с различными системами, без ограничений потреблять ресурсы или выполнять действия без достаточного контроля и прозрачности (трассируемости).
Как можно контролировать Shadow AI?
Путем обеспечения видимости используемых инструментов, защиты конфиденциальной информации, критериев авторизации, контроля над API и интеграциями, ограничения разрешений, мониторинга активности и политик управления.
Означает ли контроль над Shadow AI запрет на использование искусственного интеллекта?
Нет. Цель состоит в том, чтобы позволить организации использовать искусственный интеллект в безопасной среде с надзором, четким распределением ответственности и мерами контроля, соразмерными рискам.
