ИИ меняет операционную среду кибербезопасности, поскольку все более автономные системы могут действовать от имени людей и организаций. Они могут писать код, давать рекомендации, запускать рабочие процессы и взаимодействовать с данными и приложениями с такой скоростью, с которой традиционные процессы безопасности никогда не были рассчитаны работать.
Этот сдвиг стал основой недавней беседы в рамках CyberLive на LinkedIn, в которой приняли участие Риши Мехта (Rishi Mehta), директор по информационной безопасности HCLTech, и Амит Джайн (Amit Jain), исполнительный вице-президент и глобальный руководитель отдела кибербезопасности в HCLTech. Их дискуссия была сосредоточена на центральном вопросе эпохи ИИ: как организации могут выстроить достаточное доверие к все более автономным системам, чтобы использовать их в масштабном режиме, не теряя контроля над рисками?
ИИ расширяет операционную среду кибербезопасности
Передовой ИИ предоставляет злоумышленникам большую скорость, масштаб и доступность, однако спикеры предостерегли от оценки угроз исключительно по возможностям моделей. Квалифицированные операторы могут объединять существующие модели с подходящими сопутствующими инструментами и рабочими процессами для достижения все более эффективных результатов, что делает более широкую систему вокруг модели важной частью уравнения.
Это сочетание моделей, инструментов и человеческого опыта может поддерживать все: от фишинга и социальной инженерии до разработки скриптов и активности внутри скомпрометированной среды. Спикеры ожидают, что злоумышленники будут шире использовать возможности ИИ, уже развернутые в целевых организациях, потенциально применяя эти системы для поиска конфиденциальной информации, поддержки латерального перемещения и ускорения постинтеграционной активности. В то же время многие из этих же возможностей могут усилить защиту: команды безопасности применяют ИИ в управлении уязвимостями, реагировании на инциденты, управлении рисками и соответствием требованиям, тестировании на проникновение (red teaming, penetration testing) и безопасности продуктов.
Это создает среду, в которой обе стороны могут использовать ИИ в качестве множителя сил. Джайн подчеркнул, как этот сдвиг также расширяет саму поверхность атаки, особенно в условиях, когда агентный ИИ (Agentic AI) порождает растущее число машинных идентичностей, способных взаимодействовать с системами, данными и бизнес-процессами. По мере того как организации развертывают все больше агентов, управление доступом и идентификацией (IAM) приобретает все большую значимость по мере роста числа нечеловеческих идентичностей внутри предприятия.
Идентификация становится критической точкой контроля
Многие существующие программы управления идентификацией были разработаны с расчетом на людей, устройства и приложения, а не на огромные совокупности автономных агентов. Это становится проблематичным, когда ИИ-агент наследует идентификационные данные и разрешения создавшего его человека. Человеческим пользователям часто предоставляется более широкий доступ, чем требуется для каждой отдельной задачи, поэтому перенос тех же разрешений на автономного агента может дать ему избыточные возможности в отношении данных, приложений и бизнес-систем.
Организациям все чаще потребуется назначать машинные идентичности в соответствии с назначением и полномочиями каждого агента, обеспечивая четкую видимость того, кому он принадлежит, к какой информации имеет доступ и какие действия может выполнять. Это становится еще более важным по мере распространения теневого ИИ, поскольку агенты и возможности на базе ИИ могут проникать в организацию быстрее, чем традиционные инвентаризационные списки безопасности и процессы утверждения были рассчитаны принимать.
Это делает видимость и контроль фундаментальными факторами. Организациям необходимо понимать, какой именно ИИ функционирует в их среде и остаются ли риски, связанные с этими системами, в пределах определенных границ. Это выходит за рамки чат-ботов и распространяется на агентов, возможности low-code и no-code, а также ИИ, встроенный в стороннее программное обеспечение, — все это может создавать дополнительные пути проникновения в корпоративные системы.
Управление переходит на этап выполнения (runtime)
Идентификация — это лишь часть более широкой задачи управления. Организации часто прикладывают значительные усилия к решениям, принимаемым в самом начале инициативы по внедрению ИИ, включая выбор модели, данных, среды хостинга и начальных средств контроля. Джайн утверждал, что такого же уровня внимания необходимо придерживаться и после развертывания, поскольку системы ИИ функционируют непрерывно, взаимодействуют с меняющейся средой и могут вести себя по-разному по мере изменения условий.
«Управление и защитные барьеры должны масштабироваться на этап выполнения», — сказал Джайн.
Управление на этапе выполнения означает постоянное наблюдение за поведением, применение политик и поддержание возможности вмешательства, когда система выходит за рамки ожидаемых границ. В зависимости от сценария использования это может означать ограничение разрешений, требование одобрения человеком, откат действия или полную остановку агента. Первоначальная инвентаризация и оценка защищенности остаются важными, но они дают лишь моментальный снимок. Доверие в рабочей среде должно подкрепляться данными, собираемыми в процессе работы системы.
«Я бы однозначно рекомендовал доверие на основе фактических данных вместо слепого доверия», — сказал Джайн.
Эти данные также должны отражать уровень полномочий, предоставленных системе ИИ. Внутренний агент, выполняющий низкорискованную административную задачу, не влечет за собой таких же последствий, как агент, работающий в процессе взаимодействия с клиентами, цепочке поставок или основной финансовой системе. Тестирование, пороги утверждения, мониторинг и возможности отката должны становиться более строгими по мере расширения полномочий, в то время как судьбоносные действия требуют четкой прослеживаемости, чтобы организации могли понять, какой именно агент действовал, какая информация легла в основу решения и кто в конечном итоге отвечает за бизнес-результат.
«В конце концов, за результат отвечает организация, а не алгоритм», — сказал Джайн.
Кадровый состав специалистов по безопасности меняется вместе с технологиями
Те же возможности ИИ, которые порождают новые риски, также могут помочь командам безопасности управлять операционной средой, которая становится все более скоростной и сложной.
В качестве примера спикеры указали на эволюцию аналитика центра мониторинга и реагирования на инциденты (SOC). Раньше аналитикам приходилось вручную собирать доказательства расследования из различных систем, прежде чем они могли понять инцидент и отреагировать на него. Теперь ИИ может выполнять большую часть этой первоначальной аналитической работы, позволяя аналитику начинать с лучшим контекстом и сосредоточить внимание на расследовании, оценке и реагировании.
Анализ вредоносного ПО прошел схожий путь. Автоматизация сократила значительную часть рутинной работы по обратному проектированию, в то время как специализированные роли остались важны для решения более сложных задач. ИИ развивает это направление, еще больше ускоряя анализ и позволяя квалифицированным специалистам тратить больше времени на работу, требующую креативности, опыта и контекстуального понимания.
Общая тенденция направлена на создание таких операций безопасности, где ИИ берет на себя более рутинный анализ, а люди осуществляют надзор, расследуют сложные случаи и принимают решения высшего порядка. Это имеет значение для отрасли, которая долгое время сталкивалась с дефицитом квалифицированных кадров, однако Мехта подчеркнул, что самим профессионалам в области кибербезопасности также потребуется более высокий уровень грамотности в вопросах ИИ. Понимание поведения технологий, экспериментирование с ними и осознание их ограничений становятся важными как для обеспечения безопасности систем ИИ, так и для эффективного использования ИИ в целях защиты.
Устойчивость становится частью проектирования безопасности ИИ
По мере того как ИИ все глубже внедряется в бизнес-процессы, организациям также необходимо исходить из того, что системы время от времени будут вести себя непредсказуемо. Модели могут подвергаться манипуляциям, промпты — эксплуатации, а агенты могут принимать решения, приводящие к непредвиденным последствиям. Эта реальность заставляет руководителей служб безопасности уделять больше внимания отказоустойчивому проектированию, восстановлению и устойчивости наряду с предотвращением угроз.
Джейн утверждал, что привычные принципы кибербезопасности остаются крайне актуальными. Безопасность на этапе проектирования (Secure by design), эшелонированная оборона, концепция Zero Trust и непрерывный контроль по-прежнему составляют фундамент, однако теперь они должны функционировать в среде, содержащей гораздо больше машинных идентификаторов и автономных действий. Цель состоит в том, чтобы ограничить последствия в случае сбоя и сохранить способность к быстрому восстановлению, а не строить архитектуру на допущении, что любой сбой можно предотвратить.
Выступавшие охарактеризовали ИИ как необычную междоменную поверхность атаки, поскольку он связывает управление доступом и идентификацией, конечные точки, облачные сервисы, хранилища данных, риски сторонних поставщиков и бизнес-приложения. Защита такой среды требует видимости во всех этих доменах и процессов, способных реагировать с сопоставимой скоростью на атаки с использованием ИИ. Ограничения разрешений, изоляция, механизмы отката и вмешательство человека могут работать в комплексе, предотвращая перерастание непредвиденного действия в масштабный бизнес-инцидент.
Красные линии должны отражать уровень рисков и зрелость средств контроля
Большая автономность также поднимает вопрос о том, где организации должны проводить границы использования ИИ. Могут существовать решения, потенциальные последствия которых делают полную автоматизацию нецелесообразной, но эти границы будут различаться в зависимости от отрасли, бизнес-контекста и способности организации контролировать сопутствующие риски.
Джейн утверждал, что эти решения должны основываться как на склонности к риску, так и на зрелости системы безопасности.
Организация с надежными средствами контроля идентификации, эффективным управлением уязвимостями и зрелым мониторингом может предоставить системе ИИ больше полномочий, чем та, которая имеет значительные пробелы в тех же областях. Это тесно связывает ИИ-безопасность с общей кибербезопасностью: там, где базовые средства контроля слабы, граница допустимой автономности должна быть более консервативной.
Советы директоров и высшее руководство должны понимать, где ошибки ИИ или галлюцинации могут привести к серьезным последствиям для бизнеса, какие меры защиты могут снизить эту подверженность рискам и какой уровень остаточного риска организация готова принять. Если риск не может быть снижен в достаточной степени, надлежащим ответом может стать постоянное участие человека или отказ от автоматизации.
Доверие необходимо завоевывать непрерывно
Мехта сформулировал эту цель как «способность заслуживать это доверие каждый день».
Этот принцип объединяет многие проблемы, возникающие вокруг корпоративного ИИ. Доверие зависит от понимания того, какие идентификаторы задействованы, какими полномочиями они обладают, постоянного наблюдения за их поведением и поддержания подотчетности за принимаемые ими решения. Оно также зависит от устойчивости: организации нуждаются в средствах защиты, которые позволяют сдерживать непредвиденное поведение и восстанавливаться, когда средства контроля работают не так, как задумано.
При правильном подходе эти дисциплины безопасности могут способствовать внедрению ИИ, а не сдерживать его. Руководители могут действовать быстрее, если они уверены в том, где находятся риски, как ведут себя системы и что произойдет в случае сбоя. По мере того как автономные системы все глубже внедряются в деятельность предприятий, непрерывный контроль и устойчивость будут все больше определять, насколько уверенно организации смогут масштабировать ИИ, сохраняя при этом безопасность и доверие, от которых зависит их бизнес.
