Реестры с открытым исходным кодом для ИИ-агентов эффективны только тогда, когда они включают в себя строгий и прозрачный процесс проверки безопасности для материалов сообщества. Именно поэтому для своего нового реестра CyberAgents Exchange компания Tenable объединила свой опыт в области управления рисками с моделями OpenAI GPT Cyber, создав CyberAgents Exchange AI Inspector.
Основные выводы
- Exchange Inspector объединяет средства обнаружения угроз Tenable с моделями OpenAI GPT Cyber и экспертной оценкой человека для тщательной проверки материалов, отправляемых в CyberAgents Exchange.
- Обеспечение безопасности ИИ-агентов требует анализа широкой поверхности атаки, которая включает инструкции LLM, разрешения на объединение инструментов и риски инъекций промптов, что значительно превосходит традиционную безопасность программного обеспечения.
- Процесс проверки CyberAgents Exchange динамически сопоставляет уровень подходящей модели ИИ с уровнем риска каждого материала, обеспечивая комплексную проверку без избыточных вычислительных затрат.
Недавно на саммите OpenAI «Intelligence at Work: Cyber Summit» компании Tenable и OpenAI объявили о новаторском процессе проверки безопасности агентов с открытым исходным кодом, навыков, серверов MCP и многоагентных плейбуков, опираясь на наше июньское партнерство. Новый CyberAgents Exchange AI Inspector, встроенный в наш реестр CyberAgents Exchange, поможет командам безопасности быстро и уверенно внедрять агентский ИИ.
Созданный на базе Tenable, CyberAgents Exchange представляет собой специализированный реестр с ориентацией на кибербезопасность для ИИ-агентов, навыков, серверов MCP и многоагентных плейбуков. Запущенный в августе как реестр с открытым исходным кодом, не зависящий от вендоров, CyberAgents Exchange уже вырос и содержит более 100 списков ИИ, включая волну материалов, созданных на мероприятии SWARM от Tenable на конференции Black Hat USA.
С момента зарождения CyberAgents Exchange мы понимали важность строгого и комплексного процесса проверки агентов, отправляемых контрибьюторами. Каждый материал, отправленный в CyberAgents Exchange, проходит базовую проверку перед добавлением в список.
Теперь мы еще больше усиливаем возможности проверки CyberAgents Exchange, подвергая отдельные материалы с высоким уровнем риска более глубокому анализу с помощью CyberAgents Exchange AI Inspector, который объединяет модели OpenAI GPT Cyber и собственный опыт Tenable в области безопасности. Ожидается, что CyberAgents Exchange AI Inspector (или сокращенно Exchange Inspector) станет доступен в сентябре.
Читайте далее подробный обзор того, как мы разрабатывали Exchange Inspector и как он работает.
Цели проверки
Материалы в CyberAgents Exchange бывают самые разные. Материал может содержать один файл разметки навыков с инструкциями для LLM. Более сложный материал может содержать полноценные агенты, серверы MCP, внешние библиотеки и взаимодействовать с удаленными службами и API. Этот спектр сложностей — одна из причин, почему проверка материалов ИИ-агентов отличается от проверки обычного программного обеспечения.
В традиционной безопасности программного обеспечения поверхность атаки в основном представляет собой сам код. В ИИ-агенте поверхность атаки распространяется на инструкции, переданные модели, инструменты, которые ей разрешено вызывать, и данные, к которым ей разрешено получать доступ или передавать. Инъекции промптов также вызывают беспокойство, а объединение инструментов может усиливать риск через границы доверия, которые ни один отдельный компонент не пересек бы сам по себе. Мы учитываем это в нашем подходе к каждой проверке.
Каждый материал ссылается на репозиторий кода, содержащий файлы исходного кода и коммиты (сохраненные снимки состояния), которые формируют полную историю проекта. Поскольку репозиторий Git представляет собой живую кодовую базу, проверки Exchange Inspector привязаны к конкретному коммиту, что гарантирует прослеживаемость результатов до известного состояния. Проверка не переносится автоматически, и любые существенные изменения в материале требуют нового набора проверок. Наряду с целостностью области видимости соблюдаются рекомендации для контрибьюторов.
Оценивается надежность владельца репозитория, любой поддерживающей организации и авторов. Мы собираем различные сигналы и формируем показатель уверенности, который определяет, следует ли нам продолжать проверку.
Мы объединяем сканирование Tenable One AI Exposure, оценку передовых моделей с помощью моделей OpenAI GPT Cyber и проверку человеком для анализа всей поверхности каждого материала. После проверки исходного кода CyberAgents Exchange устанавливает и тестирует материалы в чистой изолированной среде, используя только документированные шаги установки. Затем он сравнивает наблюдаемое поведение с тем, что заявлено в документации, и фиксирует любые расхождения в качестве обнаруженных проблем.
Проблемы, представляющие собой серьезные нарушения безопасности, должны быть устранены до публикации. Остальные могут быть приняты с документированным обоснованием и обязательством по их устранению в будущем. На протяжении всей проверки мы работаем напрямую с авторами материалов.Наша цель — продвигать качественные материалы, а не создавать непрозрачный барьер отказов.
Tenable One AI Exposure
Tenable One AI Exposure помогает организациям обеспечивать безопасность и управление использованием ИИ. Решение обеспечивает комплексную видимость того, как сотрудники взаимодействуют с инструментами ИИ, такими как ChatGPT Enterprise и Microsoft Copilot. Tenable One AI Exposure отслеживает поток конфиденциальных данных для предотвращения утечек, выявляет неправильные конфигурации и в реальном времени обнаруживает специфичные для ИИ угрозы, такие как попытки инъекций промптов и джейлбрейка.
Прежде чем материал попадет на оценку к передовой модели OpenAI, он проходит проверку Tenable One AI Exposure. Этот автоматизированный первичный этап выполняет сканирование на предмет утечки персональных данных (PII), доступа к конфиденциальным данным, а также рисков инъекций промптов или джейлбрейка, выявляя наиболее критические проблемы до того, как материал увидит человек. Все обнаруженные проблемы устраняются до перехода к следующему этапу конвейера проверки.
Вот пример файла SKILL.md с невидимыми символами, которые обнаружил Exchange Inspector. Обратите внимание, как строка 17 перенесена на три строки без видимого текста.
Хотя файл навыка может казаться пользователю безобидным, строка содержит следующий текст, закодированный в виде невидимых символов тегов Unicode, которые также передаются в LLM:
Выбор модели
OpenAI Daybreak предоставляет одобренным защитникам доступ к возможностям, откалиброванным для авторизованной киберзащиты. Поскольку Daybreak Blue и Daybreak Red предназначены для различных рабочих процессов, наш процесс выбора модели направляет каждый материал на основе авторизации, риска и технической сложности. Мы начинаем с модели и уровня доступа, подходящих для конкретной задачи, а затем эскалируем процесс, когда контент требует более специализированных кибервозможностей или более мягких средств защиты.
Отказ или безопасное завершение стандартной модели не следует трактовать как свидетельство полной безопасности. Это может указывать на то, что материал содержит киберконтент, ограниченный средствами защиты модели. Поэтому мы проводим бенчмаркинг репрезентативных материалов для различных конфигураций моделей и доступа, прежде чем передавать их на уровень Daybreak Red для авторизованных, более рискованных или технически сложных рабочих процессов.
Проверка рекомендаций для контрибьюторов, базовая гигиена репозитория и оценка надежности
Здесь мы выполняем структурированное сравнение: соответствует ли метаданные представленного материала связанному репозиторию? Присутствует ли заявленная лицензия в дереве файлов? Является ли README полным? Работают ли инструкции по установке? Параллельно с этим проводится оценка надежности. Мы собираем сигналы о владельце репозитория, любой поддерживающей организации и авторе(-ах) материалов, включая общественную репутацию, прошлую активность в сфере открытого ПО и любые признаки марионеточных или одноразовых аккаунтов.
Стандартная модель GA, такая как Luna, обрабатывает этот раздел целиком. Проверка целостности листинга подтверждает, что фронтматтер соответствует связанному репозиторию, файл лицензии присутствует и корректно заявлен, README охватывает все обязательные поля, а сам файл README написан в четкой и недвусмысленной форме. Оценка надежности также не требует перехода к более мощной модели: она выполняется с помощью специального навыка, который собирает сигналы и формирует структурированную оценку.
Только текст
Материалы, состоящие только из текста, — это файлы SKILL.md, плейбуки и шаблоны промптов, не содержащие исполняемого кода. Это распространенный тип материалов на CyberAgents Exchange. Их поверхность атак полностью сосредоточена в самих инструкциях. Риски включают в себя инъекцию промптов через внедренные директивы, эксфильтрацию инструкций, скрытых в тексте, который в остальном выглядит разумным, расширение области видимости в отношении того, что навык разрешает делать агенту, а также методы обфускации, такие как символы нулевой ширины, юникодные омоглифы, HTML-комментарии или блоки base64, внедренные в маркдаун.
Для этого класса не требуется доступ к Daybreak. С ним отлично справляется стандартная модель, но с одним важным ограничением: материал должен передаваться как разделительные данные, а не как инструкции, чтобы модель-рецензент не выполняла встроенные директивы как свои собственные. Второй специализированный проход для поиска скрытого контента является стандартной практикой: сначала проверьте наличие юникодных аномалий и закодированных блоков, а затем предоставьте модели полный текст с явным запросом выявить все, что было бы невидимо при обычном отображении.
Безопасный код
Этот класс охватывает такие материалы, как MCP-серверы и агенты, которые обертывают документированные API с доступом только для чтения: извлечение данных из SIEM, отправка запросов к путям чтения Tenable, создание тикетов и запуск поиска. Поверхность риска здесь включает цепочку поставок (незафиксированные зависимости, установочные хуки, ссылки на git без закрепленного SHA), обработку секретов, избыточные разрешения инструментов и нераскрытые исходящие соединения.
Отправной точкой для этого класса является Daybreak Blue от OpenAI. Даже MCP-сервер с преобладающим чтением обычно содержит процессы авторизации, хранение учетных данных и доступ к настройкам сканирования — компоненты, в отношении которых стандартная модель может проявлять уклончивость вместо того, чтобы дать четкие объяснения. Такая уклончивость делает результаты проверки ненадежными, поскольку квалифицированный ответ о том, как хранится токен, не равен четкому выводу, а уклоняющееся резюме процесса авторизации не является успешным прохождением проверки. Защитные механизмы Daybreak Blue устраняют эти трудности для большей части работы, такой как аудит зависимостей, чтение кода в стиле SAST, определение областей разрешений и сопоставление исходящего трафика, и все они получают прямые ответы.
Код двойного назначения
Это класс, в котором выбор модели имеет наибольшее значение. Он охватывает всё, что сканирует или перечисляет системы, выполняет перебор, анализирует или хранит учетные данные, декодирует вредоносное ПО, манипулирует настройками сканирования или управляет инструментом безопасности с возможностью записи или атаки. Навык, состоящий только из текста и предписывающий агенту выполнять любое из этих действий, наследует данный класс, так как риск передается через инструкцию, а не только через код.
Daybreak Blue является отправной точкой для многих авторизованных защитных проверок в этом классе, особенно для проверки безопасного кода, триажа уязвимостей, анализа вредоносного ПО, проектирования средств обнаружения и проверки патчей. Практическое отличие от стандартной модели очевидно: вам нужно, чтобы модель прямо заявила, что функция выполняет перечисление нулевых сеансов Server Message Block (SMB) и что ее обработка ошибок позволяет ей бомбардировать хост без экспоненциальной задержки, либо что обработчик учетных данных записывает токены в незащищенный временный путь. Стандартная модель может проявлять уклончивость или отказываться от такой характеристики даже в явно защитном контексте, что делает ее менее надежной для полной проверки компонентов двойного назначения. Защитные механизмы Daybreak Blue настроены на защитный анализ кода, находящегося на грань между легитимным и вредоносным использованием.
Если Daybreak Blue выдает отказ для конкретного компонента, мы рассматриваем этот отказ как сигнал проверки, требующий эскалации или реклассификации. Это указывает либо на то, что компонент был неправильно классифицирован и относится к более высокому классу, либо на то, что материал маскирует намерения способом, который вызвал срабатывание фильтров модели. В любом случае мы передаем задачу на уровень Daybreak Red, фиксируем отказ дословно в журнале проверки и выполняем реклассификацию перед продолжением работы.
Вредоносные или превращенные в оружие артефакты
Эксплойты типа PoC, клиенты C2, генераторы полезной нагрузки, средства обхода защиты и антивирусов, дамперы учетных данных и агенты, заявленной целью которых является эксплуатация уязвимостей, — это единственный класс, который по умолчанию требует Daybreak Red и проверки политик до начала любого технического анализа.
Политическое решение заключается в том, принимает ли вообще CyberAgents Exchange данный материал. Большинство элементов в этом классе должны не проходить эту проверку. Платформа CyberAgents Exchange построена на принципах прозрачности и открытого вклада, и мы напрямую работаем с авторами для продвижения качественной работы. Тем не менее, артефакты военного назначения находятся за рамки того, для чего создан этот реестр.
Когда материал успешно проходит проверку политик (например, легитимный фреймворк для тестирования на проникновение с надлежащей авторизацией, ограничением области действия и средствами контроля), для технического анализа может подойти Daybreak Red. В OpenAI описывают Daybreak Red как модель кибербезопасности, обученную специально для авторизованных исследований уязвимостей, проверки эксплойтов и тестирования безопасности. Это имеет значение, когда проверка требует подтверждения возможности эксплуатации в контролируемой среде или отличия подлинного концептуального доказательства (PoC) от вредоносного артефакта, замаскированного под него. Отказ, успешное завершение или ограниченный анализ со стороны Daybreak Blue в отношении такого артефакта повышенного риска не должны рассматриваться как гарантия безопасности; это должно послужить поводом для пересмотра классификации, авторизации и вопроса о том, является ли Daybreak Red подходящим уровнем проверки.
Безопасность, идущая в ногу с инновациями
Exchange Inspector добавляет строгий уровень проверки безопасности, предоставляя службам безопасности более четкие сигналы о том, какие ИИ-агенты, навыки, MCP-серверы и мультиагентные плейбуки безопасно внедрять в свою среду. Объединяя оценку передовых моделей OpenAI со знаниями Tenable в области безопасности, это сотрудничество призвано дать службам безопасности уверенность во внедрении агентного ИИ теми темпами, которые требуются их организациям, без ущерба для контроля или прозрачности. Ожидается, что Exchange Inspector будет запущен в сентябре, а сама платформа Exchange продолжит развиваться по мере роста вклада сообщества.
Изучите CyberAgents Exchange сегодня и следите за анонсами выхода Exchange Inspector.
Будьте в курсе
Подписывайтесь на CyberAgents Exchange, чтобы узнавать об авторах, обновлениях релизов и новостях сообщества.
