Тенденции в отрасли | 21 октября 2026 г.

Корпоративный ИИ уже давно вышел за рамки стадии пилотных проектов. Согласно отчету F5 2026 State of Application Strategy Report, 78% организаций заявили, что уже используют инференс ИИ. А 98% сообщили, что готовятся к внедрению агентного ИИ.

По мере того как предприятия спешат внедрять системы ИИ, управление данными становится одной из главных задач. Системы ИИ зависят от данных на каждом этапе своего жизненного цикла. Организации передают данные в ИИ-модели для обучения и доработки. ИИ-инструменты получают данные в виде промптов, извлекают данные из векторных баз данных и выводят данные в виде текстовых ответов. А автономные агенты обращаются к данным для выполнения задач.

Каждый шаг предполагает принятие решений по управлению данными. Необходимо отслеживать поток данных и контролировать доступ к ним. Лишь немногие организации внедряют средства управления до развертывания новейшего инструмента или разработки нового агента. В результате данные и сам бизнес остаются уязвимыми перед лицом многочисленных угроз.

Первым шагом в реализации управления данными ИИ является понимание того, чем оно отличается как от традиционного управления данными, так и от управления ИИ-моделями. Затем вы сможете сосредоточиться на областях наибольшего риска и внедрить практики, которые контролируют конфиденциальные данные, не замедляя внедрение ИИ.

Что такое управление данными ИИ?

Управление данными ИИ — это комплекс политик и технических средств контроля, которые регулируют сбор, классификацию, использование, передачу, хранение и удаление данных на протяжении всего жизненного цикла ИИ. Управление данными должно охватывать широкий спектр данных, в том числе:

Данные, используемые для обучения и тонкой настройки моделей.
Промпты и ответы, которыми обмениваются в процессе инференса.
Данные, дополняющие ответы моделей.
Вызовы инструментов и API, совершаемые агентами.
Телеметрические данные, генерируемые в ходе процессов ИИ.

Традиционные подходы к управлению данными не работают с системами ИИ. Эти подходы ориентированы главным образом на структурированные данные, хранящиеся в корпоративных репозиториях. К этим данным в состоянии покоя обращаются посредством предсказуемых запросов, а права доступа проверяются периодически.

Данные систем ИИ обладают другими свойствами и поведением. В частности, данные ИИ:

Неструктурированные и разговорные: промпты свободной формы и сгенерированные ИИ ответы нельзя регулировать с помощью политик, разработанных для структурированных данных, хранящихся в базах данных.
В движении: в системах ИИ данные постоянно перемещаются по мере ввода промптов в модель, которая возвращает ответ. ИИ-агент может совершать тысячи вызовов API и моделей за считанные секунды. Квартальные проверки прав доступа, принятые в традиционных моделях управления данными, будут недостаточны для контроля таких данных в движении. Управление данными ИИ должно быть автоматизированным, чтобы успевать за машинной скоростью систем ИИ.
Недетерминированные: ИИ-модель может каждый раз отвечать на один и тот же вопрос по-разному. Средства контроля вывода должны оценивать смысл и контекст. Они не могут полагаться на сопоставление по шаблонам, свойственное традиционному управлению данными.

В случае с данными систем ИИ управление должно осуществляться в режиме реального времени, непосредственно в точках взаимодействия.

Управление данными ИИ против управления ИИ-моделями

Управление данными ИИ и управление ИИ-моделями должны работать в связке, но это разные стратегии. За них часто отвечают разные команды.

Управление ИИ-моделями сосредоточено на контроле моделей и агентов. Стратегии управления моделями определяют, какие модели одобрены к использованию, кому они принадлежат, как они обучены, какая версия работает в рабочей среде, как отслеживается их поведение и когда модели выводятся из эксплуатации.

Управление данными ИИ сосредоточено на данных, к которым у ИИ есть доступ, и путях их перемещения. Эти стратегии контролируют классификацию данных, предотвращение выхода данных за пределы предприятия, места их обработки и сроки хранения.

Основной вопрос

Какие данные могут поступать в системы ИИ и выходить из них?

Какие модели и агенты одобрены и как они должны себя вести?

Типичные артефакты

Политики классификации данных, правила маскирования и блокировки, требования к хранению и локализации

Реестр моделей, результаты оценки, документация, история версий

Ключевые элементы контроля

Инспектирование промптов, ответов и вызовов инструментов в режиме реального времени

Рабочие процессы утверждения, управление версиями, ограничение разрешений, мониторинг дрейфа и поведения моделей

Обычно ответственные

Команды безопасности, конфиденциальности и защиты данных

Команды инженеров по машинному обучению, управлению рисками и соблюдению нормативных требований

Пример сбоя

Конфиденциальные данные утекают через нерегулируемый промпт или ответ

Неодобренная или устаревшая модель действует с большим объемом прав доступа, чем предполагалось

Управление данными и моделями ИИ должно осуществляться совместно, иначе они потерпят совместную неудачу. Если промпты и ответы модели не проверяются, даже тщательно задокументированная и хорошо оцененная модель все равно может допустить утечку регулируемых данных. Аналогичным образом, если неодобренный агент имеет доступ к базе данных клиентов, надежные средства контроля данных могут не предотвратить их раскрытие.

Эта взаимозависимость отражена в устоявшихся структурах и стандартах управления ИИ. В National Institute of Standards and Technology AI Risk Management Framework (NIST AI RMF) применяется подход к рискам ИИ с учетом жизненного цикла посредством функций управления, сопоставления, измерения и контроля (Govern, Map, Measure, and Manage). ISO/IEC 42001 аналогичным образом устанавливает общеорганизационную систему управления ИИ, в то время как Cloud Security Alliance AI Controls Matrix (AICM) переводит управление ИИ в практические меры безопасности. Во всех этих подходах управление данными и моделями не рассматривается изолированно: оба они являются частью управления рисками ИИ на протяжении всего жизненного цикла.

Выявление ключевых рисков данных ИИ

Существует несколько потенциальных способов случайного или умышленного раскрытия данных при их прохождении через системы ИИ. Управление ИИ призвано устранить или смягчить эти уязвимости.

Теневой ИИ: сотрудники часто внедряют инструменты ИИ без ведома команд безопасности или ИТ-отдела. Даже при наличии общекорпоративных решений безопасности или политик управления данными, данные, проходящие через несанкционированные системы ИИ, остаются без контроля.
Ввод: при использовании санкционированных инструментов сотрудники все равно могут непреднамеренно вводить конфиденциальную информацию — от клиентских данных до медицинской информации, — просто потому, что это самый быстрый способ получить ответы на вопросы. Такие данные могут стать объектом утечки.
Вывод: при определенных запросах генеративная ИИ-модель может воспроизводить фрагменты обучающих данных, включая элементы персональных данных (иногда это называют утечкой из-за запоминания). Злоумышленник может использовать ИИ для воссоздания этих фрагментов, восстанавливая конфиденциальную информацию в мошеннических целях.
Конвейеры извлечения данных: генерация, дополненная поиском (RAG), использует данные, хранящиеся в векторных базах данных. Когда документы внедряются в эти базы данных без исходных средств контроля доступа, модель может предоставить контент пользователю, у которого нет разрешений на открытие исходного файла.
Агенты с постоянными привилегиями: любая угроза для агента распространяется на инструменты, базы данных и серверы, к которым он подключен. Если агенту предоставлены широкие полномочия, данные, с которыми он взаимодействует, могут оказаться под угрозой раскрытия.
Модели сторонних производителей: отправка промптов внешней модели означает, что конфиденциальные данные выходят из-под контроля организации и могут пересекать географические границы. Это затрудняет регулирование сроков хранения, контроль мест обработки, соблюдение требований по локализации данных и обеспечение того, чтобы конфиденциальная информация не использовалась для обучения моделей.
Сохранение данных: удаление данных по истечении определенного периода времени или в ответ на запрос клиента часто является требованием политик управления данными. Удалить записи из базы данных достаточно просто, но гораздо сложнее удалить информацию, уже усвоенную весами модели. В результате тщательно планируйте, какие данные вы используете для обучения.

Почему средства безопасности оставляют «белые пятна» для систем ИИ

Инструменты предотвращения утечки данных (DLP) и управления состоянием безопасности данных (DSPM) могут быть чрезвычайно полезны для защиты корпоративных данных. Однако системы ИИ могут выявить важные ограничения этих инструментов, в том числе:

Отсутствие видимости данных в реальном времени: инструменты DSPM определяют, где хранятся конфиденциальные данные. Но данные, используемые системами ИИ, находятся в постоянном движении и становятся уязвимыми по мере перемещения. Инструменты DSPM не могут обеспечить видимость в реальном времени, необходимую для управления такими данными.
Классификация, настроенная под структурированные данные: инструменты DLP и DSPM используют сопоставление с образцом для классификации данных. Это работает для структурированных данных, но хуже справляется с неструктурированным повествовательным контентом, который пользователи вводят в качестве промптов и получают в качестве ответов.
Принудительное применение не на том уровне: инструмент DLP может заблокировать выгрузку с конечной точки, но оказаться не в состоянии остановить пользователя, отправляющего промпт с конфиденциальной информацией. Инструмент должен работать на уровне вывода (inference layer), где происходит обмен данными.
Отсутствие пригодной для использования записи: специалистам по соблюдению нормативных требований часто необходимо показать, к чему запрашивалась система ИИ, как она отвечала и какая политика применялась. Обычные инструменты DLP и DSPM не могут предоставить такие свидетельства.

Эти инструменты просто не создавались для защиты данных в рабочих процессах ИИ. Их необходимо дополнять стратегиями и решениями, ориентированными на ИИ.

Практики для усиления управления данными ИИ

Не все стратегии управления ИИ одинаковы. Тем не менее стратегии, успешно минимизирующие риски, часто разделяют несколько из этих восьми передовых практик.

Инвентаризируйте все случаи использования ИИ: прежде чем управлять данными, вам нужно знать, где и как данные используются ИИ во всем вашем предприятии. Калогизируйте не только одобренные приложения и агенты, но и несанкционированные инструменты, чтобы выявить каждый путь, по которому могут передаваться данные.
Классифицируйте данные во время взаимодействий: помимо классификации данных в состоянии покоя, вам необходимо классифицировать данные в промптах, ответах и вызовах инструментов. Для этого требуются возможности понимания разговорного контекста, а не только структурированных шаблонов.
Применяйте политики в режиме реального времени: политики управления данными должны применяться по ходу движения данных, до того как они достигнут пункта назначения. Например, маскирование конфиденциальных данных при их вводе в промпт позволяет сотрудникам продолжать работу и в то же время предотвращает попадание этих данных в базу знаний модели — внутреннюю или внешнюю.
Применяйте принцип наименьших привилегий: необходимо запретить моделям, агентам и инструментам RAG доступ к конфиденциальным данным. Создайте защитные механизмы для систем ИИ, гарантируя, что модели и агенты ИИ имеют доступ только к тому, что им абсолютно необходимо, и проверяйте системные разрешения с той же периодичностью, что и для пользователей-людей.
Создавайте журнал аудита: для улучшения реагирования на инциденты и соблюдения нормативных требований ведите журнал аудита, содержащий запросы, ответы, примененные политики и решения о принудительном применении. Вы можете использовать эту информацию для точной настройки политик и демонстрации соответствия требованиям.
Проводите непрерывное тестирование: угрозы развиваются быстро. Политика, которая успешно защищает конфиденциальные данные сегодня, через шесть месяцев может стать менее эффективной. Внедрение краудсорсингового тестирования на проникновение (red teaming) и автоматизированного тестирования поможет обнаружить пробелы и обновить политики.
Контролируйте цепочку поставок данных: комплексное управление требует прозрачности каждого элемента в системе ИИ, который имеет дело с данными. Например, при использовании внешних моделей изучите условия поставщика в отношении отказа от обучения, окон хранения, мест обработки и использования субподрядчиков.
Назначьте ответственных: управление данными ИИ может затрагивать группы безопасности, конфиденциальности, юрисконсультов, специалистов по работе с данными и разработчиков приложений. Назначьте ответственных за управление данными и проводите регулярные проверки, чтобы развернутые системы не отклонялись от установленных политик.

Применение управления там, где работает ИИ

Большинство практик управления данными эффективны только тогда, когда они применяются на прямом пути трафика ИИ. Это принцип, лежащий в основе подхода F5 к управлению данными ИИ и безопасности.

Платформа F5 AI Security Platform объединяет обнаружение, управление, тестирование и защиту на этапе выполнения для корпоративного ИИ. F5 Workforce AI Security обеспечивает видимость санкционированного и несанкционированного использования ИИ, включая модели, инструменты, промпты и данные, используемые сотрудниками. F5 AI Gateway предоставляет точку контроля для управления доступом к моделям, агентам и инструментам ИИ. F5 AI Red Team использует состязательное тестирование для выявления уязвимостей и слабых мест в системах ИИ, в то время как F5 AI Guardrails применяет политики во время взаимодействия с ИИ, помогая предотвратить утечку конфиденциальных данных, вредоносную деятельность и нарушения политик.

Данные не обязательно должны быть уязвимостью. При наличии правильного управления данными вы сможете уверенно и безопасно двигаться вперед в деле внедрения ИИ.

Часто задаваемые вопросы

Традиционное управление данными в первую очередь работает со структурированными данными в состоянии покоя в репозиториях. Управление данными ИИ должно охватывать неструктурированные данные в движении, такие как текст, который пользователи вводят в инструменты ИИ и получают в качестве ответов, сгенерированных ИИ. Поскольку эти данные находятся в движении, управление должно применяться в режиме реального времени, в точках взаимодействия.

Управление моделями ИИ контролирует модели и агенты. Например, организации должны инвентаризировать модели, управлять разрешениями для агентов и отслеживать поведение. Управление данными ИИ фокусируется на данных, поступающих в эти модели и агенты и выходящих из них. На практике управление данными и моделями должно идти рука об руку, поскольку при сбое одного компонента отказывает и другой.

Хотя инструменты предотвращения утечек данных (DLP) и управления состоянием безопасности данных (DSPM) необходимы для защиты данных, они имеют ограниченную полезность для управления данными ИИ. Большинство из них не могут обеспечить видимость данных в реальном времени, классифицировать неструктурированные данные, применять правила управления во время вывода или генерировать журналы аудита для систем ИИ.

Платформа F5 AI Security Platform позволяет организациям обнаруживать использование ИИ на предприятии, разрабатывать политики управления данными и внедрять их в процессе прохождения данных через системы ИИ. Организации также могут использовать возможности F5 для создания готовых к аудиту записей в целях соблюдения законов, концепций и стандартов, касающихся данных и систем ИИ.