Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak my sozdali agentskuyu sistemu poiska uyazvimostey v datadog
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как мы создали агентскую систему поиска уязвимостей в Datadog

Источник: Datadog•18 ноября 2026 г. в 16:11

Как мы создали агентскую систему поиска уязвимостей в Datadog

Мы разработали пакеты угроз (threat packs), которые предоставляют нашим агентам контекст, необходимый для проведения эффективного и воспроизводимого поиска. Узнайте, как мы это сделали.

Используя современные закрытые и открытые модели ИИ, можно находить потенциальные уязвимости с помощью различных навыков, инструментов или промптов. Сложнее проверить, являются ли эти проблемы эксплуатируемыми с учетом бизнес-логики сервиса и существующих средств контроля безопасности. В масштабах Datadog это быстро стало камнем преткновения. Промышленный сервис может зависеть от фреймворков, инфраструктуры и других сервисов, поддерживаемых десятками команд. Агент, анализирующий один репозиторий, может не видеть проверок аутентификации или сетевых ограничений, которые обеспечивают эти команды, или не знать, каким требованиям безопасности должен соответствовать сервис.

Именно поэтому мы создали конвейер оркестрации, который предоставляет агентам контекст безопасности, необходимый для поиска уязвимостей. Этот конвейер также позволяет нам повторять поиск известных уязвимостей, чтобы проверять, продолжают ли агенты находить их после внесения изменений в модель или инструментарий. Рабочий процесс строится вокруг пакетов угроз (threat packs) — компактных, проверенных человеком документов, которые превращают знания экспертов по безопасности в контекст, используемый агентами во время поиска. Каждый пакет включает сводку системы и четкие требования безопасности, помогающие агентам сосредоточиться на слабых местах этой системы.

Мы уже убедились, что эти пакеты снижают уровень шума и повышают качество отчетов, что помогает нам более эффективно расставлять приоритеты при обработке результатов. Поиск с использованием этих пакетов также позволил обнаружить выходы из гостевой системы в хостовую в компонентах с открытым исходным кодом, включая один через virtio-fs в среде выполнения Rust для Kata Containers и другой, вызванный отсутствием проверки длины в реализации virtio-blk для Dragonball.

В этой статье мы расскажем, как мы создаем пакеты угроз и превращаем результаты поиска в воспроизводимые отчеты.

Определение требований безопасности в пакете угроз

Наши пакеты угроз заимствуют лучшие практики моделирования угроз и политики как кода (policy-as-code), при этом требования безопасности хранятся в отдельном версионируемом файле. Наш конвейер оркестрации поиска загружает контекст безопасности пакета угроз и клонирует репозитории, необходимые для области поиска. Он разбивает процесс поиска уязвимостей, их обнаружения и воспроизведения на отдельные задачи и направляет каждую задачу наиболее экономически эффективной модели, способной ее выполнить. Конвейер обеспечивает согласованность рабочего процесса между поставщиками моделей и агентскими инструментами, которые запускают агентов и подключают их к соответствующим инструментам.

Каждый пакет угроз состоит из файла threat-pack.md и файла metadata.yaml. Markdown-файл содержит четыре раздела, охватывающих сводку системы, инварианты безопасности, приоритеты проверки и известные компенсирующие меры контроля. Метаданные YAML определяют область действия пакета, ответственного за него специалиста и расположение кода. Мы версионируем оба файла, чтобы иметь возможность восстановить контекст безопасности, предоставленный для конкретного поиска, и сравнить его с более поздними версиями.

Мы делаем пакеты лаконичными, обычно около 300 строк, чтобы предоставить агентам поиска необходимый контекст безопасности, используя при этом лишь малую часть их контекстного окна.

Фиксация требований безопасности в виде инвариантов

Агент может отследить параметр запроса через функцию кода, не зная, что сервис должен определять идентификатор арендатора из аутентифицированного сеанса или что нижестоящий компонент уже проверяет права доступа. Эти требования и средства защиты часто содержатся в архитектурных решениях, прошлых проверках безопасности и знаниях инженеров о системе. Без этих деталей агент может сообщить об отсутствии проверки, которую выполняет другой компонент, преувеличить влияние находки или пропустить код, нарушающий границы организации.

Рассмотрим изолированный сервис выполнения кода со следующим требованием безопасности:

Код внутри гостевого хоста никогда не должен обращаться к узлу Kubernetes, файловой системе хоста, среде выполнения контейнеров или службе метаданных облака.

Рецензент может вручную искать вызовы, которые затрагивают файловую систему или сетевой сокет, но для решения вопроса о том, нарушают ли эти вызовы правило, требуется больше деталей. В этом сценарии рецензент также должен знать, что ожидается наличие root-доступа внутри гостевой системы и что микро-ВМ Kata обеспечивает доверенную границу между гостем и хостом. Им также необходимо учитывать политики Kubernetes и Cilium, которые ограничивают рабочую нагрузку, и прокси-сервер исходящего трафика, который обеспечивает единственный одобренный путь к внешней сети. Исходный код может выявить некоторые из этих средств защиты, не объясняя при этом весь доступ, который сервис должен разрешать или предотвращать.

Мы записываем это требование безопасности как инвариант — свойство, которое система должна сохранять всегда. Пакет угроз связывает его с предположениями о доверии к сервису и известными компенсирующими мерами контроля, такими как ограничения на исходящие соединения. С таким контекстом у агента есть четкая цель, и он может искать достижимый путь, который нарушает требование, учитывая при этом средства защиты, которые могли бы помешать злоумышленнику воспользоваться им.

Создание и проверка пакетов вместе с владельцами сервисов

Каждый пакет охватывает сервис или границу доверия, которая может охватывать несколько репозиториев или только часть одного. Например, если аутентификация происходит в отдельном сервисе, пакет должен объяснить, как проверяемый сервис получает и доверяет аутентифицированной личности. Расположение кода в пакете дает агенту отправную точку для отслеживания соответствующих цепочек вызовов и изучения средств защиты, которые влияют на возможную уязвимость.

Мы создали сотни пакетов угроз, расставляя приоритеты систем по уровню риска. Для каждого пакета агенты готовят черновую версию на основе кода, отчетов о тестировании на проникновение, обзоров рисков и проектной документации. Наш навык интервью затем помогает агентам задавать экспертам по безопасности вопросы, на которые код не может ответить, оспаривать предположения и уточнять детали, которые могут повлиять на поиск.

В качестве последнего шага каждый пакет проходит проверку человеком перед тем, как будет использован в поиске. Эта проверка определяет предполагаемое поведение системы и предположения, которые агенты должны использовать при ее тестировании. Если код и пакет противоречат друг другу, рецензенты определяют, нарушает ли реализация требование или пакет нуждается в обновлении. Владельцы сервисов также предоставляют приоритеты проверки и известные компенсирующие меры контроля.

Требование к результатам: объяснение нарушенного свойства безопасности

Поиск может дать много результатов, особенно с новыми пакетами угроз или более мощной моделью. Прежде чем передавать эти отчеты на сортировку, нам нужно проверить, являются ли проблемы эксплуатируемыми и нарушают ли они требования безопасности, указанные в пакете.

Кандидат в находки — это первоначальный отчет агента до фильтрации и проверки. Второй агент, выступающий в роли судьи, проверяет каждого кандидата на соответствие пакету угроз. Отчет должен содержать название заявленного инварианта, определять точку входа, к которой может получить доступ злоумышленник, и объяснять, как этот путь может нарушить инвариант. Кандидаты, соответствующие этим требованиям, становятся квалифицированными находками.

Кандидаты, которые не могут связать достижимую точку входа с нарушенным инвариантом, становятся дисквалифицированными находками. Они отсеиваются до этапа воспроизведения и не проходят через автоматизированную сортировку (triage) или устранение. Мы сохраняем их отчеты, чтобы рецензенты могли выявить недостающий контекст в пакете (pack) или доказательства, которые пропустила обвязка (harness), и использовать эту информацию для доработки пакета или улучшения нашего конвейера.

Мы также проводим бенчмаркинг этапа квалификации, чтобы проверить, не отфильтровывает ли он легитимные находки. Это помогает нам оценивать качество фильтрации, чтобы мы не рассматривали снижение количества отчетов как единственный показатель успеха. Мы храним отчеты кандидатов, результаты воспроизведения и решения по сортировке вместе, чтобы рецензенты могли видеть, что было протестировано и почему статус находки изменился.

Прежде чем квалифицированная находка отправится на сортировку, агент пытается создать доказательство концепции (PoC) в стейджинг-среде или путем локального тестирования соответствующего кода. Эта попытка может показать, что предложенный путь атаки не работает или что проблема менее серьезна, чем сообщалось изначально. Это также дает рецензентам детали воспроизведения для принятия решения о том, что именно исследовать или исправлять. Если агент не может завершить тест в доступной среде, мы фиксируем это ограничение и оставляем находку неподтвержденной.

Использование находки для поиска более широкого класса багов

Один и тот же класс багов может затрагивать сервисы, охваченные разными пакетами угроз (threat packs), поэтому находка в одном сервисе может побудить нас искать тот же паттерн уязвимости в других. Мы столкнулись с этим при анализе находки из сканирования статического анализа безопасности приложений (SAST) функции с поддержкой ИИ. Эта функция отображала вывод модели через Markdown-рендерер, который разрешал внешние изображения, что нарушает Agents Rule of Two. Промпт-инъекция, помещающая конфиденциальную информацию в URL-адрес изображения, могла привести к тому, что браузер отправит эту информацию злоумышленнику при запросе изображения.

Мы заменили рендерер компонентом, который игнорирует Markdown-изображения и очищает или проверяет ссылки для предотвращения непредвиденных внешних запросов. Затем команда проверила другие функции, включая части кодовой базы, для которых еще не было пакетов угроз, и обнаружила тот же паттерн рендеринга в нескольких местах. Эта проверка показала, что проблема выходит за пределы первоначального места вызова.

Мы зафиксировали требование к рендерингу в пакете угроз для пользовательского интерфейса нашего приложения как универсальный инвариант безопасности, применимый ко всем компонентам. Всякий раз, когда недоверенный ввод может влиять на контент из рабочего процесса ИИ, каждый компонент, отображающий этот контент, должен использовать защищенный рендерер, который игнорирует Markdown-изображения и проверяет ссылки.

С этим требованием в пакете агент позволил нам расширить первоначальную проверку команды на всю кодовую базу пользовательского интерфейса, проверяя функции с различными реализациями. Он также мог использовать компенсирующие меры контроля из пакета, чтобы исключить пути атаки, заблокированные этими средствами защиты. В течение нескольких дней после фиксации инварианта поиск привел к нескольким аналогичным находкам, которые мы подтвердили как уязвимости.

Повторение контролируемых поисков для оценки изменений

Чтобы предотвратить регрессии при изменении модели, промпта или части обвязки (harness), нам нужно проверить, находит ли обновленная конфигурация уязвимости, которые обнаруживала предыдущая версия для того же пакета угроз. Агенты на базе больших языковых моделей (LLM) могут выдавать разные результаты, даже если конфигурация и входные данные остаются прежними, поэтому мы повторяем поиски, чтобы измерить, насколько стабильно каждая конфигурация находит известные уязвимости.

Фиксация входных данных бенчмарка

В этих повторных поисках используется бенчмарк известных уязвимостей, чтобы проверить, насколько надежно агенты могут обнаружить их повторно. Наш первоначальный бенчмарк в августе 2026 года включал 43 подтвержденные уязвимости в системах, охваченных девятью пакетами угроз. Эталонные находки были получены из репозиториев с открытым исходным кодом, продуктов для клиентов и внутренних систем.

Перед началом поиска по бенчмарку мы фиксируем («замораживаем») пакет угроз, снимки репозиториев, конфигурацию запуска и эталонные находки. Фиксация версии пакета сохраняет требования безопасности неизменными, а фиксация версии исходного кода — неизменным проверяемый код. Выбранные снимки содержат известные уязвимости до их устранения, а агент поиска получает код и пакет без доступа к эталонным находкам. Мы повторяем каждую конфигурацию независимо, чтобы иметь возможность сравнить предлагаемое изменение с предыдущей версией и увидеть, насколько результаты различаются между запусками.

После каждого поиска по бенчмарку отдельный оценщик, которого мы называем семантическим судьей (semantic judge), сравнивает результаты со скрытыми эталонными находками. У этого оценщика иная задача, чем у агента, который квалифицирует кандидатов перед сортировкой. Он проверяет, обнаружил ли поиск известную уязвимость повторно, сравнивая возможности злоумышленника, нарушенную границу, первопричину и эксплуатируемый путь в обоих отчетах.

Например, предположим, что эталонная находка описывает, как промпт-инъекция может заставить функцию поместить конфиденциальную информацию в URL-адрес Markdown-изображения. Новый поиск может сфокусироваться на «небезопасном рендерере» этой функции, который позволяет браузеру запросить изображение и отправить информацию злоумышленнику. Если оба отчета идентифицируют один и тот же рендерер и путь атаки, судья засчитывает известную уязвимость как повторно обнаруженную, несмотря на разницу в формулировках.

Измерение стабильности в повторных запусках

После того как семантический судья сопоставил находки каждого запуска с эталонным набором, нам нужно оценить, какие известные уязвимости нашла конфигурация и насколько стабильно она их находила. Уязвимость, которая появляется в одном запуске, но пропускается в нескольких других, дает нам меньше уверенности в том, что она снова проявится в последующем поиске. Мы используем два показателя — совокупное обнаружение (union detection) и стабильное обнаружение (stable detection) — для отслеживания этой разницы при оценке изменений в пакете, модели или обвязке.

Совокупное обнаружение (union detection) показывает, нашел ли агент известную уязвимость хотя бы один раз во всех валидных повторениях. Стабильное обнаружение (stable detection) означает, что агент находит одну и ту же уязвимость в большинстве независимых запусков. Наш текущий критерий — обнаружение как минимум в 7 из 10 запусков; это рабочий порог, который мы планируем корректировать по мере накопления результатов. Установление этого базового уровня помогает нам понять, когда последующая конфигурация находит уязвимость менее стабильно.

Мы сравниваем, как часто старая и новая конфигурации находят одну и ту же уязвимость в повторных поисках, чтобы исследовать возможную регрессию. Например, если старая конфигурация находила ее в 8 из 10 запусков, а новая — в 2, мы бы выяснили, не сделало ли изменение обнаружение менее вероятным. Мы бы сравнили это падение с вариативностью между поисками с использованием одной и той же конфигурации, чтобы определить, было ли оно вызвано изменением.

Что ждет наши поиски в будущем и как начать свои

Наши первые результаты дают нам основания продолжать развитие этого подхода, а опыт других компаний в отрасли показывает, что команды сочетают письменный контекст безопасности с оценками на основе известных уязвимостей. Мы ожидаем, что эта комбинация останется полезной по мере изменения моделей и фреймворков агентов.

Требования, которые мы фиксируем в пакете угроз (threat pack), могут служить руководством для новой модели, а повторные поиски (hunts) позволяют проверить, помогает ли внесенное изменение более стабильно находить уязвимости. Наш следующий этап будет сосредоточен на переходе от обнаружения к исправлению. Нам необходимо протестировать предлагаемые исправления на соответствие тем же требованиям безопасности и определить, как надежно развернуть их в различных сервисах, включая среды со строгими требованиями к безопасности и комплаенсу. Это включает в себя ограничения нашей среды FedRAMP® High.

Если вы начинаете заниматься агентным поиском уязвимостей (agentic vulnerability hunting), вы можете выбрать границы сервиса, которые ваша команда хорошо понимает, и задокументировать требования к его безопасности вместе с владельцами сервиса. Затем вы можете повторить поиск по известным уязвимостям, исключив эталонные результаты из входных данных агента, чтобы изучить, что он находит, что пропускает и насколько стабильно он обнаруживает каждую проблему.

Вы можете подробнее ознакомиться с нашей работой в инженерном блоге Datadog, почитать о наших исследованиях в области ИИ или найти наши последние исследования в сфере безопасности.

Если вы хотите узнать, как Datadog может помочь вашей организации по безопасности снизить риски уязвимостей в вашей среде, вы можете

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Стратегия работы с данными против стратегии ИИ: одно и то же?
Starburst

Стратегия работы с данными против стратегии ИИ: одно и то же?

Как компании реализуют управление ИИ на практике?
Starburst

Как компании реализуют управление ИИ на практике?

Почему важны «ограждения» (guardrails) для ИИ
Starburst

Почему важны «ограждения» (guardrails) для ИИ

Корпоративному ИИ нужно нечто большее, чем онтология. Ему нужен контекстный слой, предоставляемый во время выполнения запроса.
Starburst

Корпоративному ИИ нужно нечто большее, чем онтология. Ему нужен контекстный слой, предоставляемый во время выполнения запроса.

Корпоративному ИИ нужен доступ к данным и контексту. Ваша платформа может поручиться только за свой собственный.
Starburst

Корпоративному ИИ нужен доступ к данным и контексту. Ваша платформа может поручиться только за свой собственный.

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant
Qdrant

Стоит ли использовать модель эмбеддингов, настроенную на код? papr-embed-code-1 в Qdrant

Ещё от Datadog

Используйте Datadog BYOC для ваших локальных данных с помощью MinIO AIStor
Datadog

Используйте Datadog BYOC для ваших локальных данных с помощью MinIO AIStor

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines
Datadog

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog
Datadog

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище
Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2
Datadog

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing
Datadog

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing