Агент Evo Code Scanning Agent находится в стадии экспериментального превью для избранных клиентов Snyk. Мы создаем его, чтобы объединить рассуждения ИИ, специализированные модели, детерминированный анализ, знания в области безопасности и контекстный слой, использующий аналитику из всех продуктов Snyk, для обнаружения уязвимостей, которые сложно выявить с помощью какого-то одного подхода. В эту систему заложено очень многое; мы подробно рассмотрим один из ее строительных блоков — обвязку безопасности, которая управляет тем, как модель ИИ исследует код, изучает потенциальные уязвимости и сообщает о результатах.
Чтобы увидеть, какой вклад обвязка вносит сама по себе, мы объединили ее с теми же готовыми моделями, которые используются в Claude Security и Codex Security. При том же бюджете вычислений Evo Code Scanning Agent нашел больше известных уязвимостей, чем любая из них, хотя оба инструмента достигли более высокой точности. Это предварительные результаты, и агент все еще развивается. Если вы являетесь клиентом Snyk и хотите попробовать его, присоединяйтесь к превью / обратитесь к своей команде по работе с клиентами Snyk.
Для этого теста мы запустили две пары, каждая на одной модели:
- Evo Code Scanning Agent и Claude Security, обе на Claude Sonnet 5.5
Evo Code Scanning Agent и Claude Security, обе на Claude Sonnet 5.5
- Evo Code Scanning Agent и Codex Security в глубоком режиме (deep mode), обе на GPT-6.1 Sol
Evo Code Scanning Agent и Codex Security в глубоком режиме (deep mode), обе на GPT-6.1 Sol
Каждый сканер проверял те же 14 приложений не менее трех раз для каждого приложения, а результаты оценивались по 1426 известным уязвимостям.
Больше результатов при том же бюджете вычислений
Полнота результатов сканера на основе ИИ зависит от выделенного ему бюджета вычислений. Чтобы сравнить сопоставимые вещи, мы выделили Evo Code Scanning Agent тот же бюджет вычислений, что и каждому лабораторному инструменту, в среднем по 14 приложениям. По сравнению с Claude Security он нашел 57% известных уязвимостей против 32%. По сравнению с Codex Security — 66% против 43%. Он нашел больше, чем соответствующий лабораторный инструмент, в каждом из 14 приложений.
Обнаружение большего количества уязвимостей, понимание их влияния
Оба лабораторных инструмента оказались точнее, чем Evo Code Scanning Agent. Claude Security проверяет каждого кандидата с помощью верификационной панели, которая анализирует достижимость, средства защиты и влияние, а глубокий режим Codex Security запускает циклы проверки перед формированием отчета. В настоящее время мы повышаем точность нашей обвязки и уточняем эталонные данные (ground truths), используемые при измерениях.
Модель
Evo Code Scanning Agent
Лабораторный инструмент безопасности
Claude Sonnet 5.5
65%
94% (Claude Security)
GPT-6.1 Sol
90%
97.5% (Codex Security deep)
Точность при том же бюджете вычислений: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложных срабатываний).
При равных вычислениях Evo Code Scanning Agent обнаружил больше известных уязвимостей, чем любой из лабораторных инструментов, с разными компромиссами по точности для двух моделей. На GPT-6.1 Sol он обнаружил 66% известных уязвимостей против 43% у Codex Security при точности 90% против 97.5%. На Claude Sonnet 5.5 он обнаружил 57% против 32% у Claude Security с большим разрывом в точности: 65% против 94%. Мы сознательно отдаем приоритет более широкому обнаружению уязвимостей, продолжая повышать точность.
Мы также изучаем, как контекст из продуктов Snyk может помочь командам понять значимость каждого обнаружения, в том числе могут ли слабости, которые сами по себе кажутся менее срочными, объединиться в более серьезную атаку. По мере того как ИИ меняет методы исследования и связывания уязвимостей злоумышленниками, более широкий контекст будет приобретать все большую ценность.
Та же модель, другие результаты
Фиксация модели позволяет легко увидеть эффект обвязки. При том же бюджете вычислений на Claude Sonnet 5.5 агент Evo Code Scanning Agent нашел примерно три из четырех уязвимостей, найденных Claude Security, плюс примерно 470 дополнительных по 14 приложениям. На GPT-6.1 Sol он нашел около шести из семи уязвимостей, найденных Codex Security в глубоком режиме, плюс примерно 420 дополнительных. Каждый лабораторный инструмент все же нашел уязвимости, которые пропустил Evo Code Scanning Agent: 111 для Claude Security и 84 для Codex Security в глубоком режиме.
Известные уязвимости, найденные каждым инструментом на Claude Sonnet 5.5 при том же бюджете вычислений, усредненные по запускам и просуммированные по 14 приложениям. 314 уязвимостей, найденных обоими инструментами, учитываются в общей сумме каждого, так что вместе они нашли 893 из 1426. Ни один из них не нашел остальные 533.
Известные уязвимости, найденные каждым инструментом на GPT-6.1 Sol при том же бюджете вычислений, усредненные по запускам и просуммированные по 14 приложениям. 478 уязвимостей, найденных обоими инструментами, учитываются в общей сумме каждого, так что вместе они нашли 982 из 1426. Ни один из них не нашел остальные 444.
Поскольку модель была идентичной в каждой паре, разница проистекает из всего остального: того, как обвязка планирует работу, разделяет код, исследует кандидатов и решает, что оставить.
Универсального агента кодирования недостаточно
В качестве базовой линии мы запустили OpenHands, широко используемый агент кодирования с открытым исходным кодом, с моделью GLM-5.3 с открытыми весами и единственным промптом с запросом списка уязвимостей безопасности. Он нашел 13% известных уязвимостей, и лишь около трех из пяти его первых попыток привели к полезному результату. Это сравнение меняет как модель, так и обвязку, поэтому оно не изолирует ни то, ни другое. Тем не менее оно задает отправную точку: способный агент кодирования с разумным промптом находит лишь малую часть того, что обнаружили специализированные инструменты.
Объем и ограничения этих результатов
Это предварительные результаты бенчмарка, созданного и запущенного Snyk внутри компании. 14 приложений объединяют проекты с открытым исходным кодом и специально созданные эталонные приложения, и мы публикуем результаты только в агрегированном виде. Evo Code Scanning Agent находится в стадии экспериментального превью и все еще развивается, и этот тест измерял только одну его часть — ИИ-обвязку.
Ни один инструмент в тесте не нашел каждую известную уязвимость. Лучший результат, 66% на GPT-6.1 Sol, все еще оставлял примерно треть необнаруженными. По этой причине мы рассматриваем агентов безопасности ИИ как один из уровней программы AppSec. Они работают наряду с SAST, SCA и проверкой кода, и каждый из них находит проблемы, которые другие могут пропустить.
Методология
Все результаты получены на основе внутреннего бенчмарка Snyk, состоящего из 14 приложений (смесь проектов с открытым исходным кодом и специально созданных эталонных приложений), и оценивались по 1426 известным уязвимостям. Каждый сканер сканировал одно и то же дерево исходного кода для каждого приложения не менее трех раз, причем частичные запуски засчитываются как запуски.
Сканер
Модель
Настройки
Evo Code Scanning Agent (превью-сборка)
Claude Sonnet 5.5; GPT-6.1 Sol
Высокие затраты на рассуждения (Reasoning effort high)
Плагин Claude Security 0.12.0 для Claude Code
Claude Sonnet 5.5
Высокие затраты на сессию, запуск без графического интерфейса (run headless)
CLI Codex Security 0.9.1 (глубокий режим)
GPT-6.1 Sol
Высокие затраты на рассуждения; поиск в интернете и сетевой доступ отключены
CLI OpenHands 1.16 (базовый)
GLM-5.3
Один промпт с запросом результатов безопасности; инструменты безопасности отсутствуют
Как мы проводили измерения
- Полнота обнаружения (Recall): доля известных уязвимостей приложения, обнаруживаемая результатом, усредненная по 14 приложениям. Два отчета об одной и той же уязвимости учитываются один раз.
Полнота обнаружения (Recall): доля известных уязвимостей приложения, обнаруживаемая результатом, усредненная по 14 приложениям. Два отчета об одной и той же уязвимости учитываются один раз.
- Равные вычислительные затраты: мы позволяли агенту Evo Code Scanning Agent работать до тех пор, пока его затраты на вычисления не достигали средней стоимости одного сканирования инструментом лаборатории на той же модели, не превышая ее. Инструменты лаборатории оцениваются по их среднему сканированию.
Равные вычислительные затраты: мы позволяли агенту Evo Code Scanning Agent работать до тех пор, пока его затраты на вычисления не достигали средней стоимости одного сканирования инструментом лаборатории на той же модели, не превышая ее. Инструменты лаборатории оцениваются по их среднему сканированию.
- Точность: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложноположительных срабатываний), измерено по тем же результатам, что и полнота, при том же бюджете вычислительных затрат. Показатель агента Evo Code Scanning Agent на модели Claude Sonnet 5.5 является нижней границей, поскольку некоторые дублирующиеся ложноположительные срабатывания не удалось объединить.
Точность: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложноположительных срабатываний), измерено по тем же результатам, что и полнота, при том же бюджете вычислительных затрат. Показатель агента Evo Code Scanning Agent на модели Claude Sonnet 5.5 является нижней границей, поскольку некоторые дублирующиеся ложноположительные срабатывания не удалось объединить.
Как мы оценивали результаты
- Метки: два независимых ИИ-рецензента оценивали каждый результат на соответствие известным уязвимостям, а третий принимал решение в случае разногласий. Ни один результат не проверялся человеком. Результаты, по которым рецензенты не смогли прийти к единому мнению, не учитываются ни при расчете полноты, ни при расчете точности.
Метки: два независимых ИИ-рецензента оценивали каждый результат на соответствие известным уязвимостям, а третий принимал решение в случае разногласий. Ни один результат не проверялся человеком. Результаты, по которым рецензенты не смогли прийти к единому мнению, не учитываются ни при расчете полноты, ни при расчете точности.
- Ключ ответов: 1426 известных уязвимостей включают каждую уязвимость, подтвержденную по результатам любого сканера, и каждое сканирование было перепроверено по каждой записи.
Ключ ответов: 1426 известных уязвимостей включают каждую уязвимость, подтвержденную по результатам любого сканера, и каждое сканирование было перепроверено по каждой записи.
За пределами обвязки
Фиксация модели на неизменном уровне показала, насколько сильно одна лишь обвязка влияет на то, что находит ИИ-сканер. Обвязка — это один из строительных блоков агента Evo Code Scanning Agent, и в будущих публикациях мы расскажем об остальных: как мы добиваемся стабильности результатов от запуска к запуску, как статический анализ и ИИ-анализ работают вместе, как мы планируем обучать модели для обеспечения безопасности и как контекст из продуктов Snyk помогает командам понять и расставить приоритеты для находок агента.
Хотите посмотреть, что он найдет в одном из ваших критически важных для бизнеса приложений? Обратитесь к своей команде по работе с клиентами Snyk, чтобы присоединиться к экспериментальной предварительной версии.
Агенту Evo Code Scanning Agent доступна экспериментальная предварительная версия для избранных клиентов. Если вы хотите посмотреть, что он найдет в одном из ваших критически важных для бизнеса приложений, присоединяйтесь к предварительной версии или обратитесь к своей команде по работе с клиентами Snyk.
УВИДЬТЕ EVO В ДЕЙСТВИИ
Безопасное внедрение ИИ в масштабе с помощью Evo
Получите набор нативных для агентов решений безопасности, которые обеспечивают безопасность, защиту и управление ИИ-разработкой в рамках трех контуров: артефакта кода, ИИ-персонала и создаваемых командами ИИ-приложений.












