В рамках запуска нашего продукта мы представили конфиденциальные вычисления в Cohere Model Vault, которые теперь доступны в общедоступной бета-версии с использованием GPU NVIDIA в Microsoft Azure.

Эта статья более подробно описывает принципы работы системы.

Цель состоит не просто в шифровании вывода. Она заключается в сокращении инфраструктуры, которой клиенты должны доверять свои данные в открытом виде, и предоставлении им криптографических доказательств, которые они могут проверить перед передачей конфиденциальной информации.

Для этого требуется нечто большее, чем просто конфиденциальная виртуальная машина. Система конфиденциального вывода должна защищать сами вычисления, путь, по которому к ним поступают конфиденциальные запросы, и механизм, который клиенты используют для принятия решения о том, можно ли доверять пункту назначения.

Model Vault объединяет эти компоненты вокруг выделенного развертывания модели.

От конфиденциального оборудования к конфиденциальному выводу

Конфиденциальные вычисления защищают данные в процессе использования, пока приложение или модель активно их обрабатывают.

В основе лежат два свойства:

Изоляция, которая использует аппаратные средства контроля для защиты памяти рабочей нагрузки от инфраструктуры за пределами конфиденциальной среды.
Аттестация, которая создает криптографически подписанные доказательства о среде, чтобы другая сторона могла оценить их перед передачей конфиденциальных данных.

Вместе эти свойства меняют традиционную модель доверия к инфраструктуре. Привилегированный доступ к базовому хосту больше не означает автоматический доступ к рабочей нагрузке, выполняемой внутри конфиденциальной среды.

Однако для вывода ИИ граница не может заканчиваться на CPU.

Значительная часть вычислений модели выполняется на ускорителях. Если бы CPU был защищен, а ускоритель оставался за пределами конфиденциальной границы, конфиденциальное состояние модели и промежуточные вычисления могли бы быть раскрыты в тот момент, когда вывод переходит на GPU.

Конфиденциальные вычисления на GPU NVIDIA защищают память GPU от инфраструктуры за пределами защищенной среды и шифруют обмен данными между CPU и GPU. Это позволяет конфиденциальной границе охватить как конфиденциальную виртуальную машину, так и ускоритель, выполняющий вывод.

Внутри конфиденциального Model Vault

Ни один отдельный компонент не делает запрос на вывод конфиденциальным.

Model Vault объединяет несколько средств контроля вокруг выделенного развертывания модели, каждое из которых решает свою часть проблемы доверия.

Конфиденциальное выполнение на CPU и GPU

Стек обслуживания модели работает внутри конфиденциальной виртуальной машины.

Операционная система, драйверы, сервер вывода и их память защищены от среды хоста с помощью аппаратной изоляции. Рабочая нагрузка также ограничена политикой, поэтому внутри среды может выполняться только одобренное программное обеспечение, а у операторов нет интерактивного доступа к рабочей нагрузке.

Конфиденциальные вычисления NVIDIA расширяют защиту на ускоритель и шифруют трафик между CPU и GPU.

Это важно, поскольку граница безопасности должна охватывать системы, которые фактически выполняют вывод, а не только CPU, который его координирует.

Microsoft Azure предоставляет базовую инфраструктуру конфиденциальных вычислений. Model Vault выстраивает вокруг этой основы уровни управляемого обслуживания моделей, зашифрованных запросов, аттестации и проверки клиентом.

В результате клиентам не нужно самостоятельно собирать, интегрировать и эксплуатировать эти средства контроля.

Шифрование самого запроса

Защита вычислительной среды решает лишь часть проблемы.

Конфиденциальные данные также должны достичь этой среды.

TLS защищает сетевые соединения, но одного шифрования на уровне соединения недостаточно, чтобы гарантировать, что каждый посредник, участвующий в работе службы, остается вне пути передачи данных в открытом виде.

Поэтому Model Vault защищает саму полезную нагрузку приложения.

Он использует Oblivious HTTP (OHTTP) для шифрования содержимого конфиденциальных запросов с помощью открытого ключа, связанного с аттестованной конфиденциальной средой. Зашифрованное сообщение затем может проходить через промежуточную инфраструктуру в виде зашифрованного текста.

Только шлюз OHTTP внутри конфиденциальной среды имеет доступ к соответствующему закрытому ключу и может расшифровать защищенный запрос. Ответ защищается на обратном пути таким же образом.

Это создает важное разделение между эксплуатацией службы и доступом к содержимому запроса.

Промежуточная инфраструктура по-прежнему может выполнять функции, необходимые для управляемой платформы, такие как маршрутизация трафика, без необходимости доступа к конфиденциальной полезной нагрузке приложения.

Приложения продолжают использовать API Model Vault и привычные форматы запросов. Дополнительная защита реализована на уровне клиента и инфраструктуры, что избавляет клиентов от необходимости перепроектировать полезную нагрузку своих приложений.

Удаленная аттестация: доказательство того, что будет обрабатывать запрос

Изоляция предотвращает прямое чтение памяти защищенной рабочей нагрузки инфраструктурой за пределами конфиденциальной границы.

Но одна лишь изоляция оставляет важный вопрос:

Как клиент узнает, что пункт назначения действительно использует ожидаемую конфигурацию оборудования и программного обеспечения?

Удаленная аттестация решает этот вопрос.

Конфиденциальная среда создает криптографически подписанные доказательства, описывающие работающую среду. Сюда входят измерения и свойства безопасности, связанные с оборудованием, прошивкой, операционной средой и прикладным программным обеспечением.

Затем эти доказательства оцениваются на соответствие утвержденной политике.

Это разделение между доказательствами и политикой является фундаментальным.

Доказательства аттестации отвечают на вопрос: какая среда на самом деле работает?

Политика отвечает на вопрос: является ли эта среда той, которой я готов доверить свои данные?

Проверяющая сторона может потребовать, чтобы конкретные свойства соответствовали утвержденным значениям, прежде чем будет выпущен защищенный запрос.

Эти требования могут включать ожидаемые измерения программного обеспечения и состояние безопасности конфиденциальной среды, в том числе то, работает ли GPU в ожидаемом конфиденциальном режиме.

Таким образом, клиенту не нужно полагаться исключительно на утверждение Cohere о том, что конкретная среда заслуживает доверия. Проверка выполняется до того, как будут переданы конфиденциальные данные.

Аттестация как механизм обеспечения соблюдения

Аттестация наиболее важна тогда, когда она влияет на действия системы.

В Model Vault проверка является частью решения о том, будут ли вообще переданы защищенные данные.

Перед отправкой защищенного запроса клиент оценивает пункт назначения на соответствие утвержденной политике.

Если ожидаемое свойство отсутствует или неверно, например, из-за изменения измерения программного обеспечения или из-за того, что GPU не работает в требуемом конфиденциальном режиме, проверка не проходит, и клиент отказывается отправлять защищенную полезную нагрузку.

Таким образом, конфиденциальный запрос остается внутри среды клиента, а не отправляется в пункт назначения, который не прошел проверку.

Это превращает аттестацию из артефакта аудита в активный механизм контроля безопасности.

Доказательства аттестации обновляются часто. Каждый раз при их обновлении клиент проверяет новые измерения и состояние безопасности на соответствие утвержденной политике, прежде чем продолжить отправку защищенных запросов.

В этом заключается практический смысл принципа «проверяй, прежде чем доверять».

Граница доверия и модель угроз

Конфиденциальные вычисления сокращают объем инфраструктуры, которой необходимо доверять при работе с данными в открытом виде.

Они не устраняют доверие полностью.

Поэтому понимание оставшейся границы доверия так же важно, как и понимание самих механизмов защиты.

Что остается доверенным

Несколько компонентов остаются частью доверенной вычислительной базы, включая:

базовое оборудование для конфиденциальных вычислений
прошивку
измеренное программное обеспечение, работающее внутри конфиденциальной среды
эталонные измерения, используемые для определения утвержденной конфигурации
инфраструктуру аттестации, используемую для оценки и подписания доказательств

Важное отличие заключается в том, что это доверие можно сделать более явным и измеримым.

Оборудование предоставляет доказательства о среде, а проверка, контролируемая клиентом, сверяет эти доказательства с утвержденными значениями перед тем, как защищенные данные будут раскрыты.

Таким образом, система заменяет некоторые формы широкого, неявного доверия к инфраструктуре на меньший набор компонентов, состояние которых можно измерить и оценить.

Что защищено

В рамках своей модели угроз Confidential Computing on Model Vault защищает промпты, документы, ответы и выполнение моделей во время их обработки.

Посредники вне конфиденциальной среды, включая хостовую операционную систему, гипервизор, администраторов инфраструктуры, облачного провайдера и операторов Cohere, не имеют возможности читать память защищенной рабочей нагрузки.

Поскольку конфиденциальные полезные нагрузки приложений зашифрованы сквозным шифрованием до конфиденциальной среды, их содержимое также остается защищенным при прохождении через промежуточную инфраструктуру.

Таким образом, защита охватывает как:

путь передачи конфиденциального содержимого запроса в конфиденциальную среду
так и среду, выполняющую логический вывод

Это различие имеет значение. Одна лишь конфиденциальная среда выполнения не предотвратила бы раскрытие данных в открытом виде на других участках пути запроса.

Что остается за пределами границы защиты

Полезная модель угроз также должна указывать, что она не защищает.

Конфиденциальные вычисления не претендуют на предотвращение всех возможных атак.

Физические атаки и атаки по сторонним каналам

Некоторые физические атаки и атаки по сторонним каналам остаются за пределами границы защиты. Например, злоумышленник может косвенно получить информацию на основе времени выполнения или другого поведения совместно используемого оборудования, даже не читая напрямую защищенную память.

Доступность

Оператор, который не может прочитать защищенную рабочую нагрузку, все еще может остановить ее, задержать или предотвратить ее запуск.

Поэтому конфиденциальные вычисления сами по себе не предотвращают атаки типа «отказ в обслуживании» и не предоставляют гарантий доступности.

Уязвимости на уровне приложений

Программное обеспечение, работающее внутри конфиденциальной среды, по-прежнему должно быть безопасным.

Инъекции промптов, небезопасное использование инструментов, ошибки авторизации, уязвимости приложений и другие риски на уровне ПО не решаются простым размещением приложения внутри оборудования для конфиденциальных вычислений.

Наблюдаемые метаданные

Содержимое защищенных полезных нагрузок приложений зашифровано, но некоторая информация остается видимой вне этой полезной нагрузки.

К ней могут относиться:

время выполнения запроса
размер сообщения
объем трафика
информация о маршрутизации

В текущей архитектуре информация, необходимая для аутентификации и маршрутизации, включая учетные данные API и идентификатор модели, также остается вне полезной нагрузки приложения, защищенной OHTTP.

Это различие является преднамеренным и важным при анализе того, что система скрывает, а что нет.

Чем не являются конфиденциальные вычисления

Конфиденциальные вычисления — это один из механизмов безопасности в рамках более широкой архитектуры.

Это не:

Замена безопасности приложений. Программное обеспечение внутри конфиденциальной границы по-прежнему должно быть спроектировано, проверено и защищено должным образом.
Механизм обеспечения резидентности данных. Конфиденциальные вычисления регулируют доступ к данным во время вычислений. Они не определяют юрисдикцию, в которой происходят эти вычисления.
Замена комплаенса или договорных обязательств. Соглашения об обработке данных (DPA), средства контроля доступа, сертификации, проверки безопасности и юридические обязательства остаются необходимыми.
Гомоморфное шифрование. Модель по-прежнему работает с данными в открытом виде внутри защищенной среды. Конфиденциальные вычисления защищают эту среду, а не выполняют вычисления непосредственно над зашифрованными значениями.

Аттестация также обеспечивает уверенность только тогда, когда подписанные доказательства действительно проверяются на соответствие надлежащей политике.

Доказательства описывают, что именно запущено.

Политика определяет, следует ли доверять этой среде.

Конфиденциальные вычисления не устраняют доверие. Они делают его меньше, явным, измеримым и проверяемым.

Создано открыто

Проверка становится более значимой, когда клиенты и исследователи безопасности могут понять, что именно они проверяют.

Confidential Computing on Model Vault основано на технологиях с открытым исходным кодом, включая Kata Containers и Confidential Containers.

Cohere намерена открыть исходный код стека конфиденциального логического вывода, чтобы клиенты и исследователи могли изучить реализацию, понять применяемые политики и воспроизвести измерения, используемые при проверке.

Это важно, потому что аттестация не должна требовать от клиентов принятия еще одного «черного ящика».

Измерение полезнее, когда клиенты могут понять, что было измерено, изучить связанный с этим код и независимо рассуждать о том, следует ли доверять этому состоянию.

Открытая реализация и воспроизводимые измерения делают процесс проверки более прозрачным и дают командам безопасности возможность оценивать систему на более глубоком уровне.

Что дальше

Текущая публичная бета-версия работает на графических процессорах NVIDIA H100 в Microsoft Azure.

Мы также работаем над поддержкой инфраструктуры NVIDIA Blackwell, включая графические процессоры NVIDIA B200, по мере приближения к общедоступному релизу.

Confidential Computing on Model Vault является частью более широкой цели: сделать мощные технические средства контроля доступными для предприятий без необходимости для каждой организации самостоятельно создавать и эксплуатировать конфиденциальный логический вывод ИИ.

Цель состоит не в том, чтобы просить клиентов доверять большему количеству инфраструктуры или управляемых платформ.

Цель — дать им способ проверить платформы и инфраструктурных партнеров, которым они решили доверять.

Узнайте больше в анонсе продукта Confidential Computing on Model Vault, изучите документацию Model Vault или начните работу на сайте vault.cohere.com.