В то время как опасения по поводу безопасности ИИ попадают в заголовки газет, и даже сами лидеры индустрии ИИ настоятельно предупреждают о необходимости более осторожной разработки этой технологии, трое наших исследователей получили гранты в рамках программы правительства Великобритании с бюджетом 50 млн фунтов стерлингов на изучение амбициозных новых способов повышения безопасности ИИ.
Профессора Том Гур, Мартин Клеппманн и Аманда Пророк вошли в число исследователей, получивших гранты сегодня (7 октября) в рамках программы Advanced Research & Invention Agency (ARIA) «Scaling Trust».
Они возглавят команды, проводящие передовые исследования того, как сделать ИИ более безопасным.
Два новых проекта, реализуемых здесь, будут посвящены изучению того, как можно использовать методы из таких областей, как криптография, чтобы заставить системы ИИ работать и взаимодействовать добросовестно, обеспечивая при этом безопасность данных пользователей.
Третий проект посвящен применению «водяных знаков» — функции безопасности, все чаще используемой для защиты цифровых изображений и текстов — к физическим движениям роботов.
Хотя это движение, или «дрожание», почти незаметно невооруженным глазом, его можно проанализировать по обычному видео с помощью специального приложения, разработанного командой профессора Аманды Пророк.
Раскрытие того, кто управляет движениями роботов
Расшифровывая сигнал, встроенный в эти заснятые движения, приложение точно определяет, кто разработал базовое программное обеспечение для управления роботом. Таким образом, говорит профессор Пророк (справа), «это привносит понятие происхождения в робототехнику, подобно тому, как мы видим использование водяных знаков в цифровых текстах и изображениях».
По ее словам, такой инструмент может найти широкое применение: от предупреждения о взломе системы управления до информирования следователей о том, какая система управления была установлена в транспортном средстве, попавшем в аварию.
Это также защитит интеллектуальную собственность компаний, разрабатывающих системы управления движением роботов.
Эта концепция уже была продемонстрирована ее командой на сцене саммита ООН по ИИ в Швейцарии в июле прошлого года. Но они с нетерпением ждут возможности продолжить эту работу, в частности, масштабировать ее, сделать более надежной и привлечь больше компаний к ее использованию.
ARIA — это агентство по финансированию НИОКР, созданное для совершения технологических прорывов, приносящих пользу всем. Оно финансирует команды ученых и инженеров (которых называет «создателями НИОКР») для проведения исследований на грани научно-технических возможностей.
Ее программа Scaling Trust, возглавляемая директором программы Алексом Обадией, поддерживает передовую инфраструктуру и фундаментальные исследования для безопасной координации ИИ-агентов от нашего имени как в цифровом, так и в физическом мире.
Но по мере того, как такие агенты начинают развертываться в широких масштабах, вопросы доверия, безопасности и защищенности становятся все более важными областями интересов и беспокойства.
Использование криптографии для ИИ
Как отмечает профессор Том Гур (слева), который возглавит новый проект «Передовая криптография для ИИ»: «Модели ИИ, которые разрабатываются и внедряются с беспрецедентной скоростью, открывают большие перспективы, но они также вызывают серьезные опасения по поводу безопасности и конфиденциальности. Решение этих рисков является нашим главным приоритетом».
И ARIA соглашается с этим, отмечая, что она «вносит вклад в эти глобальные усилия, финансируя прорывные проекты, которые могут кардинально изменить ситуацию в области безопасности мультиагентных систем».
Здесь, на нашем факультете, такими прорывными проектами являются:
- «Передовая криптография для ИИ» под руководством Тома Гура, профессора компьютерных наук.
- «Центр криптографической доверенной инфраструктуры», соруководителем которого является наш доцент Мартин Клеппманн вместе с Мартином Помпери из SINE Foundation.
- «Физические водяные знаки: надежная сертификация политики для воплощенных мультиагентных систем» под руководством Аманды Пророк, профессора коллективного интеллекта и робототехники.
Центр криптографической доверенной инфраструктуры (CCTI), по словам доктора Мартина Клеппманна, позволит взаимно недоверяющим ИИ-агентам (например, агентам, представляющим разные компании) установить доверие путем криптографического доказательства фактов о своих компаниях и процессах в физическом мире друг другу.
«Например, они могут доказать, что продукт был произведен в соответствии с определенной спецификацией», — говорит он.
Говорить правду, не раскрывая конфиденциальную информацию
Традиционно, отмечает он, это делалось «через доверенные третьи стороны, такие как органы по сертификации, или путем медленных, ручных процессов личной проверки потенциальных поставщиков». Но в новом, все более управляемом ИИ мире нам нужно найти способы делать это быстрее, дешевле и надежнее.
В CCTI гипотеза, которую они проверяют относительно того, как это можно сделать, заключается в использовании криптографических протоколов, таких как доказательства с нулевым разглашением. «Они предоставляют агенту способ доказать другому, что он говорит правду, не раскрывая при этом коммерчески конфиденциальные данные», — говорит Мартин Клеппманн (справа).
Например, «это позволило бы поставщику доказать, что его продукция действительно была изготовлена с использованием определенного процесса, как он утверждает. И если это сработает, мы верим, что это откроет огромные экономические возможности».
Криптография также лежит в основе нового проекта, возглавляемого профессором Томом Гуром. Здесь цель состоит в том, чтобы «применить методы и инструменты криптографии для контроля систем ИИ и попытки заставить их вести себя предписанным образом».
Это включает в себя попытку обеспечить целостность поведения — чтобы система ИИ не вышла из-под контроля и не взломала систему государственного учреждения — а также конфиденциальность.
«Поскольку мы предоставляем моделям ИИ доступ к огромному количеству данных, мы хотели бы гарантировать, что сможем поддерживать целостность и конфиденциальность этих данных».
Возможно ли такое вообще? «Это большой вопрос», — говорит Том Гур, — «и многие люди по всему миру пытаются ответить именно на него. Но я считаю, что наш подход уникален, поскольку он опирается на новые криптографические системы доказательств, которые мы разрабатываем, чтобы попытаться решить эти большие проблемы».
Проекты на нашем факультете, финансируемые программой ARIA Scaling Trust:
Передовая криптография для ИИ
Руководитель группы: Том Гур, Кембриджский университет. Команда: Нир Битански (NYU), Юваль Ишай (Technion), Сара Мейклджон (UCL/Google), Рон Ротблюм (Succinct/Technion)
В рамках проекта будут разрабатываться методы обеспечения конфиденциальности, подходящие для рабочих нагрузок ИИ с использованием криптографических методов. Это включает в себя приватный поиск для RAG, семантический поиск, безопасные вычисления и методы сокрытия запросов или эмбеддингов. Его цель — позволить агентам использовать общую память и конфиденциальные данные, не раскрывая коммерчески или лично конфиденциальную информацию.
Центр криптографической доверенной инфраструктуры (CCTI)
Руководители группы: Мартин Клеппманн (Кембриджский университет), Мартин Помпери (SINE Foundation). Команда: grjte (Ink & Switch), Хоссейн Хафези (Кембриджский университет), Джонатан Хайсс (SINE), Даниэль Хугенрот (Light Squares), Алиреза Кавуси (Кембриджский университет), Агнеш Кисс (SINE), Арман Колозян (Кембриджский университет), Марио Линс (Light Squares), Джессика Ман (Кембриджский университет), Аурель Стенцель (SINE)
CCTI позволит ИИ-агентам, не доверяющим друг другу (например, представляющим разные компании), установить доверие путем криптографического подтверждения фактов о своих компаниях и их процессах в физическом мире. Например, они смогут доказать, что продукт был произведен в соответствии с определенной спецификацией или на каких условиях агент готов достичь соглашения. CCTI также выступит в качестве партнера программы по интеграции, определяя, как результаты работы создателей сочетаются друг с другом, совместно разрабатывая общие строительные блоки с заинтересованными командами и предлагая эталонные тесты и задачи с открытым исходным кодом для Scaling Trust Arena.
Физическое нанесение водяных знаков: надежная сертификация политик для воплощенных многоагентных систем
Руководитель группы: Аманда Пророк, Кембриджский университет. Команда: Манон Флажа, Матеуш Сыпневский, Салли Мэтьюз, Кембриджский университет.
В рамках этого проекта разрабатывается защищенная от несанкционированного вмешательства система физических водяных знаков для проверки происхождения и соблюдения требований безопасности политик управления, используемых в воплощенных роботах. Расширяя конструкцию Colored Noise Coherency (CoNoCo), эта система позволяет независимым сторонам удаленно аутентифицировать активные контроллеры с помощью стандартного оборудования, такого как обычные камеры видеонаблюдения или смартфоны, без необходимости прямого доступа к роботу или специализированному сенсорному оборудованию.
