Сдерживание ИИ начинается с информации, к которой ваши агенты имеют доступ

По мере того как ИИ-агенты становятся все более функциональными, дискуссия о корпоративном ИИ меняется.

Вопрос больше не звучит так: «Можем ли мы доверять модели?»

Теперь он звучит и так: к чему модели должен быть разрешен доступ и что ей разрешено делать?

Сатья Наделла, председатель совета директоров и генеральный директор Microsoft, недавно затронул этот вопрос в статье Models as Insider Risks in the Super Intelligence Era. Его аргумент прост: организации, развертывающие передовой ИИ, не могут перекладывать ответственность за поведение таких систем на третьих лиц. Вместо этого предприятия должны относиться к мощным моделям как к потенциальным внутренним рискам: ограничивать привилегии, отслеживать активность, устанавливать границы сдерживания и сохранять независимый контроль над тем, к чему модели имеют доступ и какие действия могут предпринимать.

Как выразился Наделла, организациям необходимо «отделить поставку интеллекта от полномочий над ним».

Этот принцип имеет важные последствия для управления корпоративной информацией.

Потому что контроль над тем, что может делать ИИ, начинается с контроля над тем, к чему ИИ имеет доступ.

Сдерживание ИИ — это также задача управления информацией

Корпоративный ИИ все активнее работает с информацией, которую сотрудники используют каждый день, включая документы, электронную письму, среды для совместной работы, бизнес-приложения и другие системы.

По мере того как организации предоставляют ИИ-агентам все больший доступ к этой информации, традиционные представления о доверии должны измениться.

Наделла утверждает, что организации должны исходить из допущения, что достаточно способная модель может совершать ошибки или быть скомпрометирована. Предложенные им принципы включают ограничение привилегий, мониторинг значимых действий модели, независимое определение того, к чему модель может иметь доступ и что может делать, независимый аудит системы, а также сохранение возможности для уполномоченного лица остановить ее.

Это создает важную параллель на уровне информации.

Организация может выстроить сложные средства контроля вокруг ИИ-модели, но она также должна понимать, к какой информации модель имеет доступ.

Является ли информация актуальной?
Кто должен иметь к ней доступ?
Является ли она конфиденциальной?
К какому бизнес-процессу она относится?
Какие требования хранения или управления к ней применяются?
Должен ли ИИ вообще иметь возможность обнаруживать ее?

Это не те вопросы, которые модель должна решать сама. Это решения по управлению, которые организация должна принимать самостоятельно.

, а не только интеллект

Именно здесь управление информацией становится важной частью архитектуры доверия к ИИ.

Предоставление ИИ-агенту широкого доступа к плохо управляемой информации может создать риски, независимо от того, насколько сложной является лежащая в его основе модель. Вместо этого организациям нужна информационная среда, в которой политики доступа и управления применяются независимо от интеллекта, потребляющего контент.

Те же принципы, которые организации уже используют для управления корпоративной информацией, становятся еще более важными в мире агентов:

, которой вы владеете. Организациям необходима прозрачность в отношении критически важной для бизнеса информации и контекста вокруг нее.
, кто и что может к ней получить доступ. ИИ должен уважать установленные права доступа, а не создавать обходные пути в обход существующих средств контроля.
, классификация, управление записями и другие информационные политики должны продолжать регулировать контент по мере того, как ИИ становится еще одним способом взаимодействия людей и систем с ним.
, чем просто доступ к документам. Бизнес-контекст может помочь. Определите, какая информация относится к клиенту, контракту, проекту, делу, процессу или другому бизнес-объекту.
. ИИ не должен превращать забытый, дублированный, устаревший или неуправляемый контент в новообнаруженную бизнес-информацию просто потому, что агент смог ее найти.

, чтобы одновременно думать об ИИ и управлении информацией.

Где подходят M-Files

M-Files помогает организациям управлять бизнес-информацией, которую используют ИИ и агенты. Она применяет существующие разрешения, элементы управления информационной безопасностью и жизненным циклом к критически важному для бизнеса контенту, одновременно добавляя контекст, который связывает информацию с клиентами, контрактами, проектами, делами и процессами.

, Microsoft 365 Copilot и ИИ-агентов. По мере того как организации внедряют новые возможности ИИ, эти средства контроля помогают определить, какая информация доступна надлежащим образом, не требуя отдельной модели управления для каждого из них.

Речь идет не о создании альтернативного уровня управления в дополнение к Microsoft. Речь идет о расширении ценности среды Microsoft на бизнес-информацию, управляемую с помощью M-Files.

В среде, ориентированной на Microsoft, организации могут объединить Microsoft 365, Microsoft Purview, Microsoft Defender, Copilot и M-Files для решения различных аспектов проблемы доверия к ИИ. Microsoft предоставляет более широкую экосистему идентификации, безопасности, соответствия требованиям, ИИ и агентов. M-Files добавляет бизнес-контекст и управление информацией, необходимые для организации, управления и надлежащего предоставления критически важного для бизнеса контента.

Результатом является более надежная основа для ИИ, поскольку доступ к интеллекту не означает автоматически неограниченный доступ к информации.

Управление становится еще более важным по мере того, как агенты обретают автономность

Это различие становится еще более важным по мере перехода организаций от ИИ-помощников, которые в основном отвечают на вопросы, к агентам, способным предпринимать действия.

Наделла утверждает, что средства контроля, определяющие, к чему модель может получить доступ и какие действия может предпринять, должны находиться за пределами самой модели. Он также призывает к независимому контролю и проверяемости, а не к тому, чтобы модель управляла собственным行为 или проверяла его.

Тот же принцип должен влиять на то, как предприятия думают об информации.

Агент не должен решать, какие конфиденциальные документы он имеет право видеть.
Модель не должна определять, должна ли запись продолжать существовать.
ИИ не должен создавать собственное определение того, у кого есть разрешение на доступ к конфиденциальной информации.

Эти решения должны основываться на детерминированных политиках, разрешениях, правилах управления и человеческом надзоре, установленных за пределами модели.

Чем более автономным становится ИИ, тем важнее становятся эти границы.

От готовности к ИИ к сдерживанию ИИ

Последние несколько лет организации уделяли пристальное внимание готовности к ИИ: подготовке данных, развертыванию Copilot, экспериментированию с агентами и выявлению вариантов бизнес-использования.

Эти приоритеты по-прежнему важны. Но следующий этап корпоративного ИИ потребует от организаций столь же серьезного подхода к сдерживанию.

Это не значит мешать ИИ получать доступ к полезной бизнес-информации. Цель заключается в обратном: сделать нужную информацию доступной для нужных людей и ИИ-инструментов при соблюдении надлежащих средств контроля.

Организации, которые устанавливают такие границы, могут предоставить ИИ полезный бизнес-контекст, не открывая при этом двери абсолютно для всего.

И это может стать одним из определяющих принципов доверенного корпоративного ИИ.

Не просите модель решать, чему в ней можно доверять.

Определите, к чему модель имеет доступ, еще до того, как она об этом попросит.

«Сдерживание ИИ заключается не только в контроле над тем, что модель может делать. Оно также заключается в контроле над информацией, которую модели разрешено использовать».

Создайте управляемую основу для ИИ.

Узнайте, как M-Files помогает организациям сделать бизнес-информацию безопасной, контролируемой и готовой к работе с Microsoft 365 Copilot и агентами ИИ.

Изучите возможности M-Files и Microsoft

Источники и материалы по теме

M-Files: интеграция с Microsoft 365 Copilot в контексте
M-Files: Microsoft Copilot и M-Files, ответы на ваши вопросы

Редакционная заметка

В этой статье намеренно не утверждается, что M-Files содержит ИИ или предоставляет средства контроля сдерживания на уровне модели. Роль M-Files носит дополняющий характер: Microsoft определяет более широкую среду моделей, удостоверений, безопасности, соответствия требованиям и агентов, в то время как M-Files помогает организациям применять бизнес-контекст и управление к информации, которую используют эти системы ИИ.