Взгляд изнутри: как на самом деле выглядит конфиденциальность в Mark, ИИ от Optimizely

Источник: Optimizely•

Взгляд изнутри: как на самом деле выглядит конфиденциальность в Mark, ИИ от Optimizely

Два разработчика Optimizely объясняют, что именно происходит при подключении системы к Mark — что логируется, что ограничивается и чего не происходит вовсе.

Несколько недель назад двое наших сотрудников попробовали новый популярный персональный ИИ-ассистент (названия не разглашаются по причинам, которые наш юридический отдел назвал бы «разумными»); из тех, что обещают читать вашу почту, календарь, сообщения и наконец-то «понять вас».

Один человек продержался около пяти минут, прежде чем отключить его. Другой потратил на это целый день, прежде чем решил, что оно того не стоит.

Дело было вовсе не в том, что инструмент не работал. Он работал нормально. Просто доступ ко всей информации о человеке не сделал результат лучше — он лишь увеличил риски без какой-либо реальной выгоды. Больше доступа, но не больше пользы — это, по сути, вся суть дискуссии о конфиденциальности вокруг ИИ прямо сейчас.

Корпоративные клиенты спрашивают об этом в каждом разговоре о коннекторах. Поэтому мы решили детально обсудить это с двумя людьми, которые разработали подход к данным и доступу в ИИ от Optimizely, Mark: Имраном Юсуфом, вице-президентом по разработке ПО, и Алексом Уитни, главным менеджером по продукту.

Вот что на самом деле происходит, когда вы подключаете систему к Mark.

  • Что такое коннектор? Это API с бейджиком.
  • Что он может видеть на самом деле? Ровно то, что вы уже могли видеть сами. Не больше.
  • Знает ли кто-нибудь, что он сделал с моими данными? Да, каждый вызов логируется, и вы можете проверить это.
  • Может ли агент взять под контроль мой браузер? Нет. Мы никогда не создавали такой возможности.
  • Может ли ИТ-отдел отключить определенные инструменты? Да, еще до того, как кто-либо в команде увидит их в списке.
  • Могу ли я подключить свои собственные инструменты? Тоже да, приносите свой MCP.

Что такое коннектор на самом деле

«Коннектор» — это одно из тех слов, которые означают разное в зависимости от того, кто его использует, и в сфере ИИ эта двусмысленность вызывает реальную путаницу.

Это инструмент, а инструмент — это обертка вокруг API, который вы уже использовали. Когда Mark подключается к Salesforce, Gmail или Teams, он проходит аутентификацию с теми же учетными данными и обращается к тем же конечным точкам, которые человек использовал бы при прямом входе. Ничего нового не раскрывается; интерфейс просто становится разговорным вместо пользовательского интерфейса, по которому нужно кликать.

Инструменты — когда мы называем это инструментом, это не что иное, как обертка или API. Это все те же API, которые вы вызываете. Имран Юсуф|Вице-президент по разработке ПО

Инструменты — когда мы называем это инструментом, это не что иное, как обертка или API. Это все те же API, которые вы вызываете.

Имран Юсуф|Вице-президент по разработке ПО

Это различие постоянно упускается из виду, потому что люди доверяют «API» (то, чем они пользуются двадцать лет) и с опаской относятся к «ИИ-инструменту» (то, что кажется новым). Это та же самая поверхность атаки, просто под другим названием.

Как ограничивается доступ

Доступ в Mark ограничен вами. Подключите свою учетную запись Teams, и вы увидите чаты, в которых уже состоите — а не все разговоры в компании. Подключите Gmail, и доступ будет ограничен почтовым ящиком, через который вы прошли аутентификацию, точно так же, как если бы вы сами вошли в gmail.com. При подключении не создаются никакие новые данные; если вы не могли что-то видеть раньше, подключение инструмента этого не изменит.

Есть и менее очевидный эффект: подключение инструмента на самом деле уменьшает объем перемещаемых данных по сравнению с альтернативой. Если вы планировали вставить цепочку писем в окно чата для получения помощи, эти данные в любом случае покидали исходную систему — вы просто перемещали их вручную, без записи о том, кто еще мог увидеть этот копипаст. Коннектор заменяет это ограниченным, проверяемым действием.

Большинство людей на самом деле не осознают, что вы не создаете никакой новой поверхности атаки. Вы, по сути, уменьшаете поверхность атаки определенным образом. Имран Юсуф|Вице-президент по разработке ПО

Большинство людей на самом деле не осознают, что вы не создаете никакой новой поверхности атаки. Вы, по сути, уменьшаете поверхность атаки определенным образом.

Имран Юсуф|Вице-президент по разработке ПО

Это не новая дверь. Это та же самая дверь, но с записью о том, кто через нее прошел.

Что логируется и кто может это видеть

Большинство ИИ-продуктов не могут сказать вам, что они делали с вашими данными во время сессии. Mark ведет журнал выполнения каждого вызова инструмента — как для агентов, так и для обычного чата — и делает его доступным для проверки. Это не функция только для агентов, добавленная для корпоративных клиентов; логирование происходит одинаково, независимо от того, как вы используете Mark.

Когда вы собираетесь использовать любой другой ИИ, у вас будет нулевая видимость того, что там происходит. Хорошая новость в том, что в Mark каждая транзакция, каждый вызов сохраняются и доступны для проверки пользователем. Имран Юсуф|Вице-президент по разработке ПО

Когда вы собираетесь использовать любой другой ИИ, у вас будет нулевая видимость того, что там происходит. Хорошая новость в том, что в Mark каждая транзакция, каждый вызов сохраняются и доступны для проверки пользователем.

Имран Юсуф|Вице-президент по разработке ПО

Для покупателя, оценивающего платформу, это разница между тем, когда вам говорят «доверьтесь системе», и возможностью проверить все самостоятельно.

Почему Mark не позволяет агентам управлять вашим браузером

Одно осознанное архитектурное решение: Mark не позволяет агентам управлять активной сессией браузера с сохранением состояния. Некоторые ИИ-инструменты позволяют агенту войти на сайт и работать внутри этой сессии напрямую, а это значит, что как только вы вошли, дальнейшие события выходят из-под вашего контроля. Сессия существует вне рамок любого отдельного проверяемого действия.

Mark намеренно принял решение не позволять агентам использовать браузер напрямую — не в режиме сохранения состояния. Имран Юсуф|Вице-президент по разработке ПО

Mark намеренно принял решение не позволять агентам использовать браузер напрямую — не в режиме сохранения состояния.

Имран Юсуф|Вице-президент по разработке ПО

Вместо этого Mark удерживает все внутри пути вызова инструмента: аутентификация через OAuth, ограничение конкретным действием, логирование и возможность отзыва в любое время. Отключите инструмент, и доступ прекратится немедленно — нет никаких остаточных сессий, которые нужно учитывать.

Администраторы решают, что доступно, еще до того, как кто-либо к этому прикоснется

Контроль начинается гораздо раньше, чем на этапе индивидуального подключения. Администраторы могут включать или отключать определенные инструменты внутри коннектора на уровне экземпляра, прежде чем кто-либо в команде сможет к чему-либо подключиться — в отличие от большинства платформ, которые поставляют интеграцию со всеми включенными по умолчанию инструментами.

Если они говорят: «Я не хочу, чтобы кто-либо касался инструментов Gmail», они просто отключают их перед установкой инструментов. И их даже нет в платформе. Алекс Уитни|Главный менеджер по продукту

Если они говорят: «Я не хочу, чтобы кто-либо касался инструментов Gmail», они просто отключают их перед установкой инструментов. И их даже нет в платформе.

Алекс Уитни|Главный менеджер по продукту

Администратор может оставить Google Calendar доступным, полностью отключив Gmail, так что его даже не будет в списке. Для команд, работающих по строгим правилам обработки данных, это часто является тем самым фактором, который делает внедрение возможным.

Что происходит с вашими данными после завершения вызова

Mark работает только с провайдерами LLM, запущенными на собственной облачной инфраструктуре Optimizely, в рамках соглашения о нулевом хранении данных — провайдеры не сохраняют и не обучаются на том, что проходит через них. Удалите журнал выполнения или файл, и он исчезнет. Не скроется. Исчезнет.

Важен не сам факт хранения нами данных. Важно то, есть ли у вас понимание того, что именно мы храним, и возможность удалить эти данные в любой момент, когда вы этого захотите. Имран Юсуф | Вице-президент по разработке ПО

Важен не сам факт хранения нами данных. Важно то, есть ли у вас понимание того, что именно мы храним, и возможность удалить эти данные в любой момент, когда вы этого захотите.

Имран Юсуф | Вице-президент по разработке ПО

Используйте свой собственный MCP

Mark поставляется с растущим, тщательно отобранным набором встроенных коннекторов для корпоративных маркетинговых рабочих процессов, но этот список не является закрытым. Клиенты могут подключать свои собственные серверы MCP и получать ту же модель доступа на основе OAuth для каждого пользователя, применяемую к системам, для которых Mark не имеет специальной интеграции.

Безопасность — это не особый случай, зарезервированный для коннекторов, созданных Optimizely. Это стандарт, через который проходит каждое соединение.

Вывод

Предприятия спрашивают о конфиденциальности данных не потому, что они не доверяют ИИ как категории. Они спрашивают, потому что видели, что происходит, когда система накапливает доступ быстрее, чем кто-либо успевает его отслеживать.

Корпоративному сектору нужен контроль. В потребительских приложениях люди просто не задумываются об этом и отказываются от него. Алекс Уитни | Главный менеджер по продукту

Корпоративному сектору нужен контроль. В потребительских приложениях люди просто не задумываются об этом и отказываются от него.

Алекс Уитни | Главный менеджер по продукту

Ответ Mark — это не «доверьтесь нам»; это конкретный, проверяемый набор гарантий: доступ ограничен тем, что у вас уже есть, каждый вызов регистрируется, административный контроль над тем, что вообще доступно, и категорический отказ от обучения на ваших данных. Это не самая яркая история об ИИ. Но именно на эти вопросы корпоративные команды должны получить ответы, прежде чем они вообще что-либо подключат.

Хотите узнать больше о Mark и Optimizely Agent Platform? Переходите на optimizely.com/ai.

О чём эта статья