Безопасность агентов стала главным приоритетом в последние недели, особенно в части выявления возможных сбоев и поиска путей их устранения. Мы рады поддержать платформу NVIDIA Agent Safety Platform, которая обеспечивает безопасность в трех критически важных областях: на уровне приложений, на уровне среды выполнения и на уровне инфраструктуры.
Будучи партнером по запуск NVIDIA OpenShell и участником альянса Open Secure AI Alliance, мы работаем над развитием открытых и безопасных технологий, включая стек, обеспечивающий работу агентов в продакшене.
Создание открытых средств контроля безопасности для агентной инфраструктуры
В Baseten мы верим, что открытость — это преимущество для безопасности ИИ. Мы продолжаем инвестировать в создание средств контроля безопасности для открытых рубежей в области инференса, обучения и песочниц.
Base Labs разрабатывает и публикует методы обучения и мониторинга открытых моделей, а Baseten интегрирует эти наработки в нашу инфраструктуру развертывания на этапе выполнения. Недавно мы запустили инициативу по созданию инфраструктуры безопасности совместно с Base Labs, Hugging Face и Goodfire AI; присоединение к Open Secure AI Alliance расширяет эти обязательства.
Мониторинг полезен только тогда, когда его сигналы связаны с правами доступа, изоляцией и проверками перед тем, как агент выполнит код. Песочницы и сетевой уровень Blaxel — это именно те места, где реализованы такие средства контроля для агентов, работающих на Baseten. Blaxel также поддерживает OpenShell, среду выполнения с открытым исходным кодом от NVIDIA, которая применяет политики на уровне ядра; OpenShell не зависит от вычислительной среды, на которой работает агент.
Почему Blaxel: безопасные песочницы для агентов
Мы приобрели Blaxel, чтобы создать облако для следующего триллиона агентов. В то время как Baseten создает инфраструктуру для обучения и обслуживания моделей, Blaxel представляет собой уровень выполнения, необходимый агентам для действий: микроВМ-песочницы, постоянное хранилище и сеть со строгим контролем доступа.
Сегодня мы представляем закрытое превью Carbon — инфраструктуры Blaxel четвертого поколения, созданной для поддержки триллионов агентов в продакшене. Скоро в Baseten Carbon станет основой для песочниц и более широкой инфраструктуры выполнения агентных рабочих процессов на платформе Baseten.
Знакомство с Carbon: инфраструктура четвертого поколения от Blaxel
Когда агенты уровня Astra пишут и запускают собственный код, изоляция на аппаратном уровне становится необходимостью (ранее мы писали об why containers break down once agents start generating their own code). Carbon по-прежнему работает на микроВМ, и каждая песочница Carbon получает собственный выделенный адрес IPv6. В текущем десятилетии параллельно будут работать от миллиардов до триллионов агентов; IPv6 — единственная схема адресации, у которой есть запас пространства.
Carbon гораздо более гибкий и настраиваемый, чем любая предыдущая созданная нами инфраструктура. Помимо IPv6, ключевыми функциями Carbon являются возможности ядра для агентов и принудительное применение политик на этапе выполнения, создание снимков вручную, форкинг и прямой путь от снимка к продакшену за считанные миллисекунды.
Поскольку Carbon предоставляет в песочницу дополнительные возможности ядра, он может запускать более тяжелое программное обеспечение прямо внутри нее. Это открывает дверь для нового поколения инструментов, созданных специально для передового агентного ИИ, включая недавно анонсированную NVIDIA OpenShell. Мы создали готовый к использованию шаблон, чтобы вы могли запустить песочницу Carbon с уже установленной OpenShell.
Если OpenShell пометит агента в процессе выполнения задачи и поместит его в карантин, функции создания снимков Carbon позволят мгновенно откатиться до последнего известного исправного состояния, а не потерять результат работы.
Получите ранний доступ к Carbon
Carbon в настоящее время находится в режиме закрытого предварительного просмотра и постепенно внедряется по регионам и рабочим пространствам. Полная справочная документация по API снимков и форков доступна в документации Blaxel.
В следующих публикациях мы подробнее расскажем о безопасности внутри и за пределами песочниц Carbon, рабочих процессах форкинга и создания снимков, а также об модели приложений, которую делает возможной Carbon. Если вы уже используете версию 3.0 и хотите получить доступ к Carbon, свяжитесь с нами!
