Сегодня мы объявляем о запуске публичной бета-версии конфиденциальных вычислений (Confidential Computing) в Cohere Model Vault, обеспечивая аппаратную защиту и независимо проверяемую безопасность для управляемого корпоративного ИИ.
Model Vault предоставляет предприятиям выделенные, полностью управляемые возможности для инференса моделей. С помощью конфиденциальных вычислений мы распространяем этот опыт на некоторые из наиболее чувствительных рабочих нагрузок и данных организации, включая финансовую информацию, медицинские записи, привилегированные документы, проприетарный исходный код и интеллектуальную собственность.
Цель проста: предприятия должны иметь возможность использовать функциональность и эксплуатационную простоту управляемого ИИ, не предоставляя инфраструктуре, которая его обслуживает, доступ к своим конфиденциальным данным в открытом виде.
Защита данных в процессе использования
Традиционно шифрование защищает данные в двух состояниях: при хранении и при передаче по сети.
Конфиденциальные вычисления в Model Vault предназначены для защиты третьего состояния: данных в процессе использования.
Инференс выполняется в рамках защищенной аппаратной среды, охватывающей CPU и GPU. Аппаратная изоляция защищает память рабочей нагрузки от всего, что находится за пределами конфиденциального контура, включая привилегированное инфраструктурное программное обеспечение и операторов. Благодаря NVIDIA Confidential Computing память GPU защищена, а трафик между CPU и GPU шифруется во время выполнения инференса моделью.
Это позволяет предприятиям использовать более чувствительные рабочие нагрузки в ИИ, сокращая при этом количество сторон и систем, которым необходимо доверять свои данные.
Проверяйте, прежде чем доверять
Одной защиты недостаточно. Предприятиям также нужен способ убедиться, что эти средства защиты действительно работают.
Именно поэтому удаленная аттестация является ключевой частью конфиденциальных вычислений в Model Vault.
Перед отправкой конфиденциальных данных программное обеспечение на стороне клиента проверяет криптографически подписанные доказательства среды, которая будет их обрабатывать, включая конфигурацию оборудования, прошивки и программного обеспечения. Эти доказательства сверяются с утвержденной политикой безопасности.
Если среда не соответствует политике, клиент отказывается отправлять запрос.
Это меняет модель доверия с «доверьтесь нам» на «проверьте сами».
«Предприятия не должны выбирать между простотой управляемого ИИ и контролем над своей самой конфиденциальной информацией. С помощью Model Vault и конфиденциальных вычислений клиенты могут проверить среду, которая будет обрабатывать их данные, прежде чем отправлять их. Благодаря аппаратной аттестации клиенты не только получают криптографическое доказательство того, что рабочие нагрузки выполняются в безопасной среде конфиденциальных вычислений, но и могут убедиться, что их данные защищены от несанкционированного доступа, даже со стороны Cohere». — Фил Блансом, технический директор Cohere
— Фил Блансом, технический директор Cohere
Сквозная защита содержимого конфиденциальных запросов
Конфиденциальные вычисления защищают то, что происходит внутри вычислительной среды. Model Vault также защищает содержимое конфиденциальных запросов на пути к ней.
Вместо того чтобы полагаться только на шифрование на уровне соединения, Model Vault шифрует полезные нагрузки приложений сквозным образом до аттестованной конфиденциальной среды. Зашифрованный запрос может проходить через промежуточную инфраструктуру, не раскрывая своего содержимого, и только конфиденциальная среда может его расшифровать. Ответы также защищены на обратном пути.
Это сохраняет эксплуатационные преимущества платформы управляемого ИИ, не раскрывая содержимое запросов клиентов в открытом виде промежуточной инфраструктуре.
Клиенты продолжают использовать API Model Vault и привычные форматы запросов. Дополнительная защита встроена в уровни клиента и инфраструктуры, поэтому приложениям не требуется перепроектировать свои полезные нагрузки.
Создано совместно с Microsoft Azure и NVIDIA
Публичная бета-версия работает на базе GPU NVIDIA H100 в Microsoft Azure.
Microsoft Azure предоставляет базовую инфраструктуру конфиденциальных вычислений, а NVIDIA Confidential Computing расширяет эти возможности до GPU NVIDIA H100. Cohere объединяет эти технологии с помощью управляемого обслуживания моделей в Model Vault, зашифрованного пути запросов, удаленной аттестации и верификации на стороне клиента.
Результатом является платформа управляемого ИИ, которая сочетает в себе эксплуатационную простоту облачного ИИ с более строгим техническим контролем доступа к конфиденциальным данным во время инференса.
«Предприятиям нужна уверенность в том, что их самые конфиденциальные рабочие нагрузки ИИ защищены чем-то большим, чем просто договорные обязательства. Наша работа с Cohere над Model Vault демонстрирует, как конфиденциальные вычисления могут сочетать простоту управляемого ИИ с независимо проверяемыми техническими средствами контроля». — Викас Бхатия, руководитель отдела продуктов, Azure Confidential Computing в Microsoft
— Викас Бхатия, руководитель отдела продуктов, Azure Confidential Computing в Microsoft
«Конфиденциальные вычисления открывают новые возможности для предприятий, которым необходимо запускать ИИ на высокочувствительных данных. NVIDIA Confidential Computing на GPU NVIDIA обеспечивает аппаратную защиту, которая помогает таким платформам, как Cohere Model Vault, внедрять конфиденциальный инференс ИИ для корпоративных рабочих нагрузок». — Джон Фанелли, вице-президент по корпоративному программному обеспечению в NVIDIA
— Джон Фанелли, вице-президент по корпоративному программному обеспечению в NVIDIA
Открытие возможностей ИИ для конфиденциальных корпоративных рабочих нагрузок
Для многих организаций вопрос больше не в том, может ли ИИ выполнить задачу. Вопрос в том, можно ли вообще безопасно использовать данные, необходимые для этой задачи, с ИИ.
Конфиденциальные вычисления в Model Vault предназначены для защиты рабочих нагрузок, где требования безопасности, договорные или регуляторные требования могли удерживать ценные данные вне платформ управляемого ИИ, включая:
- Расследования мошенничества в финансовых услугах
- Поиск по привилегированным документам и комплексная юридическая проверка (due diligence) в юридических услугах
- Конфиденциальная информация государственного сектора
- Патентные и исследовательские материалы
- Проприетарные инженерные проектные документы (EDD), документы по проектированию интерфейсов (IDD) и архитектурные материалы
- Поиск и анализ проприетарного исходного кода
Это те типы рабочих нагрузок, где сокращение доступа привилегированной инфраструктуры и предоставление клиентам независимо проверяемых доказательств могут сделать ранее ограниченные сценарии использования ИИ практическими.
Конфиденциальные вычисления не устраняют все риски и не заменяют безопасность приложений, соответствие требованиям, договорные контроли или требования к локализации данных. Они обеспечивают аппаратно-защищенный и проверяемый контур защиты данных и вычислений во время выполнения инференса.
Доступно сейчас в публичной бета-версии
Конфиденциальные вычисления в Cohere Model Vault теперь доступны в публичной бета-версии на базе GPU NVIDIA H100 в Microsoft Azure.
Клиенты могут создавать и управлять зашифрованными хранилищами через Model Vault и интегрировать их, используя те же API Cohere, с верификацией на стороне клиента и сквозным шифрованием, защищающим содержимое конфиденциальных запросов до того, как они покинут среду клиента.
Для более глубокого ознакомления с архитектурой конфиденциальных вычислений, зашифрованным путем запросов, удаленной аттестацией, контуром доверия и моделью угроз, прочитайте документацию.
Начните работу на vault.cohere.com
