Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Pochemu obvyazka imeet znachenie pervye uroki iz prevyu agenta evo code scanning
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Почему обвязка имеет значение: первые уроки из превью агента Evo Code Scanning Agent

Источник: Snyk•20 ноября 2026 г. в 23:26

Почему обвязка имеет значение: первые уроки из превью агента Evo Code Scanning Agent

В ходе ранних тестов агент безопасности Evo Code Scanning Agent обнаружил больше известных уязвимостей, чем Claude Security и Codex Security при том же бюджете вычислений, но с более низкой точностью. Узнайте, что результаты говорят о роли обвязки (harness) в сканировании кода с помощью ИИ.

Агент Evo Code Scanning Agent находится в стадии экспериментального превью для избранных клиентов Snyk. Мы создаем его, чтобы объединить рассуждения ИИ, специализированные модели, детерминированный анализ, знания в области безопасности и контекстный слой, использующий аналитику из всех продуктов Snyk, для обнаружения уязвимостей, которые сложно выявить с помощью какого-то одного подхода. В эту систему заложено очень многое; мы подробно рассмотрим один из ее строительных блоков — обвязку безопасности, которая управляет тем, как модель ИИ исследует код, изучает потенциальные уязвимости и сообщает о результатах.

Чтобы увидеть, какой вклад обвязка вносит сама по себе, мы объединили ее с теми же готовыми моделями, которые используются в Claude Security и Codex Security. При том же бюджете вычислений Evo Code Scanning Agent нашел больше известных уязвимостей, чем любая из них, хотя оба инструмента достигли более высокой точности. Это предварительные результаты, и агент все еще развивается. Если вы являетесь клиентом Snyk и хотите попробовать его, присоединяйтесь к превью / обратитесь к своей команде по работе с клиентами Snyk.

Для этого теста мы запустили две пары, каждая на одной модели:

  • Evo Code Scanning Agent и Claude Security, обе на Claude Sonnet 5.5

Evo Code Scanning Agent и Claude Security, обе на Claude Sonnet 5.5

  • Evo Code Scanning Agent и Codex Security в глубоком режиме (deep mode), обе на GPT-6.1 Sol

Evo Code Scanning Agent и Codex Security в глубоком режиме (deep mode), обе на GPT-6.1 Sol

Каждый сканер проверял те же 14 приложений не менее трех раз для каждого приложения, а результаты оценивались по 1426 известным уязвимостям.

Больше результатов при том же бюджете вычислений

Полнота результатов сканера на основе ИИ зависит от выделенного ему бюджета вычислений. Чтобы сравнить сопоставимые вещи, мы выделили Evo Code Scanning Agent тот же бюджет вычислений, что и каждому лабораторному инструменту, в среднем по 14 приложениям. По сравнению с Claude Security он нашел 57% известных уязвимостей против 32%. По сравнению с Codex Security — 66% против 43%. Он нашел больше, чем соответствующий лабораторный инструмент, в каждом из 14 приложений.

Обнаружение большего количества уязвимостей, понимание их влияния

Оба лабораторных инструмента оказались точнее, чем Evo Code Scanning Agent. Claude Security проверяет каждого кандидата с помощью верификационной панели, которая анализирует достижимость, средства защиты и влияние, а глубокий режим Codex Security запускает циклы проверки перед формированием отчета. В настоящее время мы повышаем точность нашей обвязки и уточняем эталонные данные (ground truths), используемые при измерениях.

Модель

Evo Code Scanning Agent

Лабораторный инструмент безопасности

Claude Sonnet 5.5

65%

94% (Claude Security)

GPT-6.1 Sol

90%

97.5% (Codex Security deep)

Точность при том же бюджете вычислений: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложных срабатываний).

При равных вычислениях Evo Code Scanning Agent обнаружил больше известных уязвимостей, чем любой из лабораторных инструментов, с разными компромиссами по точности для двух моделей. На GPT-6.1 Sol он обнаружил 66% известных уязвимостей против 43% у Codex Security при точности 90% против 97.5%. На Claude Sonnet 5.5 он обнаружил 57% против 32% у Claude Security с большим разрывом в точности: 65% против 94%. Мы сознательно отдаем приоритет более широкому обнаружению уязвимостей, продолжая повышать точность.

Мы также изучаем, как контекст из продуктов Snyk может помочь командам понять значимость каждого обнаружения, в том числе могут ли слабости, которые сами по себе кажутся менее срочными, объединиться в более серьезную атаку. По мере того как ИИ меняет методы исследования и связывания уязвимостей злоумышленниками, более широкий контекст будет приобретать все большую ценность.

Та же модель, другие результаты

Фиксация модели позволяет легко увидеть эффект обвязки. При том же бюджете вычислений на Claude Sonnet 5.5 агент Evo Code Scanning Agent нашел примерно три из четырех уязвимостей, найденных Claude Security, плюс примерно 470 дополнительных по 14 приложениям. На GPT-6.1 Sol он нашел около шести из семи уязвимостей, найденных Codex Security в глубоком режиме, плюс примерно 420 дополнительных. Каждый лабораторный инструмент все же нашел уязвимости, которые пропустил Evo Code Scanning Agent: 111 для Claude Security и 84 для Codex Security в глубоком режиме.

Известные уязвимости, найденные каждым инструментом на Claude Sonnet 5.5 при том же бюджете вычислений, усредненные по запускам и просуммированные по 14 приложениям. 314 уязвимостей, найденных обоими инструментами, учитываются в общей сумме каждого, так что вместе они нашли 893 из 1426. Ни один из них не нашел остальные 533.

Известные уязвимости, найденные каждым инструментом на GPT-6.1 Sol при том же бюджете вычислений, усредненные по запускам и просуммированные по 14 приложениям. 478 уязвимостей, найденных обоими инструментами, учитываются в общей сумме каждого, так что вместе они нашли 982 из 1426. Ни один из них не нашел остальные 444.

Поскольку модель была идентичной в каждой паре, разница проистекает из всего остального: того, как обвязка планирует работу, разделяет код, исследует кандидатов и решает, что оставить.

Универсального агента кодирования недостаточно

В качестве базовой линии мы запустили OpenHands, широко используемый агент кодирования с открытым исходным кодом, с моделью GLM-5.3 с открытыми весами и единственным промптом с запросом списка уязвимостей безопасности. Он нашел 13% известных уязвимостей, и лишь около трех из пяти его первых попыток привели к полезному результату. Это сравнение меняет как модель, так и обвязку, поэтому оно не изолирует ни то, ни другое. Тем не менее оно задает отправную точку: способный агент кодирования с разумным промптом находит лишь малую часть того, что обнаружили специализированные инструменты.

Объем и ограничения этих результатов

Это предварительные результаты бенчмарка, созданного и запущенного Snyk внутри компании. 14 приложений объединяют проекты с открытым исходным кодом и специально созданные эталонные приложения, и мы публикуем результаты только в агрегированном виде. Evo Code Scanning Agent находится в стадии экспериментального превью и все еще развивается, и этот тест измерял только одну его часть — ИИ-обвязку.

Ни один инструмент в тесте не нашел каждую известную уязвимость. Лучший результат, 66% на GPT-6.1 Sol, все еще оставлял примерно треть необнаруженными. По этой причине мы рассматриваем агентов безопасности ИИ как один из уровней программы AppSec. Они работают наряду с SAST, SCA и проверкой кода, и каждый из них находит проблемы, которые другие могут пропустить.

Методология

Все результаты получены на основе внутреннего бенчмарка Snyk, состоящего из 14 приложений (смесь проектов с открытым исходным кодом и специально созданных эталонных приложений), и оценивались по 1426 известным уязвимостям. Каждый сканер сканировал одно и то же дерево исходного кода для каждого приложения не менее трех раз, причем частичные запуски засчитываются как запуски.

Сканер

Модель

Настройки

Evo Code Scanning Agent (превью-сборка)

Claude Sonnet 5.5; GPT-6.1 Sol

Высокие затраты на рассуждения (Reasoning effort high)

Плагин Claude Security 0.12.0 для Claude Code

Claude Sonnet 5.5

Высокие затраты на сессию, запуск без графического интерфейса (run headless)

CLI Codex Security 0.9.1 (глубокий режим)

GPT-6.1 Sol

Высокие затраты на рассуждения; поиск в интернете и сетевой доступ отключены

CLI OpenHands 1.16 (базовый)

GLM-5.3

Один промпт с запросом результатов безопасности; инструменты безопасности отсутствуют

Как мы проводили измерения

  • Полнота обнаружения (Recall): доля известных уязвимостей приложения, обнаруживаемая результатом, усредненная по 14 приложениям. Два отчета об одной и той же уязвимости учитываются один раз.

Полнота обнаружения (Recall): доля известных уязвимостей приложения, обнаруживаемая результатом, усредненная по 14 приложениям. Два отчета об одной и той же уязвимости учитываются один раз.

  • Равные вычислительные затраты: мы позволяли агенту Evo Code Scanning Agent работать до тех пор, пока его затраты на вычисления не достигали средней стоимости одного сканирования инструментом лаборатории на той же модели, не превышая ее. Инструменты лаборатории оцениваются по их среднему сканированию.

Равные вычислительные затраты: мы позволяли агенту Evo Code Scanning Agent работать до тех пор, пока его затраты на вычисления не достигали средней стоимости одного сканирования инструментом лаборатории на той же модели, не превышая ее. Инструменты лаборатории оцениваются по их среднему сканированию.

  • Точность: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложноположительных срабатываний), измерено по тем же результатам, что и полнота, при том же бюджете вычислительных затрат. Показатель агента Evo Code Scanning Agent на модели Claude Sonnet 5.5 является нижней границей, поскольку некоторые дублирующиеся ложноположительные срабатывания не удалось объединить.

Точность: количество найденных уникальных уязвимостей ÷ (количество найденных уникальных уязвимостей + количество уникальных ложноположительных срабатываний), измерено по тем же результатам, что и полнота, при том же бюджете вычислительных затрат. Показатель агента Evo Code Scanning Agent на модели Claude Sonnet 5.5 является нижней границей, поскольку некоторые дублирующиеся ложноположительные срабатывания не удалось объединить.

Как мы оценивали результаты

  • Метки: два независимых ИИ-рецензента оценивали каждый результат на соответствие известным уязвимостям, а третий принимал решение в случае разногласий. Ни один результат не проверялся человеком. Результаты, по которым рецензенты не смогли прийти к единому мнению, не учитываются ни при расчете полноты, ни при расчете точности.

Метки: два независимых ИИ-рецензента оценивали каждый результат на соответствие известным уязвимостям, а третий принимал решение в случае разногласий. Ни один результат не проверялся человеком. Результаты, по которым рецензенты не смогли прийти к единому мнению, не учитываются ни при расчете полноты, ни при расчете точности.

  • Ключ ответов: 1426 известных уязвимостей включают каждую уязвимость, подтвержденную по результатам любого сканера, и каждое сканирование было перепроверено по каждой записи.

Ключ ответов: 1426 известных уязвимостей включают каждую уязвимость, подтвержденную по результатам любого сканера, и каждое сканирование было перепроверено по каждой записи.

За пределами обвязки

Фиксация модели на неизменном уровне показала, насколько сильно одна лишь обвязка влияет на то, что находит ИИ-сканер. Обвязка — это один из строительных блоков агента Evo Code Scanning Agent, и в будущих публикациях мы расскажем об остальных: как мы добиваемся стабильности результатов от запуска к запуску, как статический анализ и ИИ-анализ работают вместе, как мы планируем обучать модели для обеспечения безопасности и как контекст из продуктов Snyk помогает командам понять и расставить приоритеты для находок агента.

Хотите посмотреть, что он найдет в одном из ваших критически важных для бизнеса приложений? Обратитесь к своей команде по работе с клиентами Snyk, чтобы присоединиться к экспериментальной предварительной версии.

Агенту Evo Code Scanning Agent доступна экспериментальная предварительная версия для избранных клиентов. Если вы хотите посмотреть, что он найдет в одном из ваших критически важных для бизнеса приложений, присоединяйтесь к предварительной версии или обратитесь к своей команде по работе с клиентами Snyk.

УВИДЬТЕ EVO В ДЕЙСТВИИ

Безопасное внедрение ИИ в масштабе с помощью Evo

Получите набор нативных для агентов решений безопасности, которые обеспечивают безопасность, защиту и управление ИИ-разработкой в рамках трех контуров: артефакта кода, ИИ-персонала и создаваемых командами ИИ-приложений.

← Все статьи

О чём эта статья

Ещё в разделе «Облака и инфраструктура»

Все →
Dynatrace расширяет сотрудничество с Google Cloud для внедрения наблюдаемости ИИ в рабочие процессы агентов Gemini Enterprise
Dynatrace

Dynatrace расширяет сотрудничество с Google Cloud для внедрения наблюдаемости ИИ в рабочие процессы агентов Gemini Enterprise

Как Cloudflare WAF помогает защититься от phpAfterShell и других критических уязвимостей в PHP
Cloudflare

Как Cloudflare WAF помогает защититься от phpAfterShell и других критических уязвимостей в PHP

За рамками черного ящика: представляем расширенные возможности поиска, управления и атрибуции IOC в Sumo Logic
Sumo Logic

За рамками черного ящика: представляем расширенные возможности поиска, управления и атрибуции IOC в Sumo Logic

По мере того как ИИ-агенты берут на себя все больше задач, Microsoft делает Windows еще безопаснее
Microsoft

По мере того как ИИ-агенты берут на себя все больше задач, Microsoft делает Windows еще безопаснее

ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя
Sysdig

ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя

Кто несет ответственность, когда работником является агент?
Sysdig

Кто несет ответственность, когда работником является агент?

Ещё от Snyk

Snyk признана лидером среди средств безопасности агентской разработки независимым исследовательским агентством
Snyk

Snyk признана лидером среди средств безопасности агентской разработки независимым исследовательским агентством

VulnBump: могут ли ИИ-агенты исправлять уязвимости в зависимостях, не ломая сборку?
Snyk

VulnBump: могут ли ИИ-агенты исправлять уязвимости в зависимостях, не ломая сборку?

Представляем Evo Agentic AppSec: безопасность, успевающая за разработкой с помощью ИИ
Snyk

Представляем Evo Agentic AppSec: безопасность, успевающая за разработкой с помощью ИИ

Snyk запускает Evo Agentic AppSec, переосмысливая традиционную безопасность приложений с помощью команды агентов безопасности
Snyk

Snyk запускает Evo Agentic AppSec, переосмысливая традиционную безопасность приложений с помощью команды агентов безопасности

Передовые модели обнаружили уязвимости. Только злоумышленник нашел цепочки.
Snyk

Передовые модели обнаружили уязвимости. Только злоумышленник нашел цепочки.

Автономные атаки уже здесь. Защита должна соответствовать их скорости.
Snyk

Автономные атаки уже здесь. Защита должна соответствовать их скорости.