Сентябрь стал знаковым месяцем, сосредоточенным на том, в чем ИИ с кибервозможностями должен быть силен, где он должен давать сбои и как измерить эту разницу. Вот что мы выпустили.
VLoc Bench: Can Agents Find Vulnerable Code at Repository Scale? (blog, Sep 4). Большинство тестов безопасности предполагают, что соответствующий код уже известен. На практике защитникам сначала нужно его найти. Мы выпустили VLoc Bench для оценки этого недостающего этапа: если дано только описание CWE и доступ к реальному репозиторию только для чтения, может ли агент определить файлы, связанные с уязвимостью? Здесь нет текста рекомендаций, идентификатора CVE, коммита с исправлением или подсказки по файлу. Модель должна сама выполнить поиск в репозитории и принять решение.
VLoc Bench (технический отчет). Тест включает 500 реальных уязвимостей из 290 репозиториев в шести экосистемах пакетов и 147 категориях CWE. Каждая задача объединяет два снимка одного и того же репозитория. На этапе А агент должен локализовать затронутые файлы до внесения исправления безопасности. На этапе B он должен изучить исправленный репозиторий и распознать, что уязвимость больше не присутствует. Такая конструкция разделяет три возможности, которые часто смешивают: понимание кода, поиск уязвимого кода и проверка устранения.
VLoc Bench (таблица лидеров). Мы оценили 27 языковых моделей и четыре инструмента статического анализа с использованием одного и того же промпта, инструментов только для чтения и бюджета команд. Локализация в масштабах репозитория все еще далека от решения: самая сильная система достигает лишь 0,229 по метрике File F1, а в 38,4% задач ни одна из оцененных моделей не находит ни одного правильного файла. Antares-3B занимает второе место в общем зачете с показателем 0,223, несмотря на наличие всего трех миллиардов параметров. Таблица лидеров также выявляет важный компромисс: системы, которые лучше всего находят уязвимые файлы, не обязательно лучше всего распознают, когда эти уязвимости уже были устранены.
Measuring Attacker/Defender Asymmetry (blog, Sep 2) Отказ от выполнения запросов по кибербезопасности не обязательно делает модель безопасной; это также может лишить защитников полезных возможностей. Safety-VLoc-Bench измеряет, благоприятствует ли способность локализации уязвимостей защитникам, сравнивая производительность на исходном коде с производительностью на очищенных, декомпилированных бинарных файлах. Среди 95 парных уязвимостей C и C++ Antares-3B достигает 0,823 по метрике File F1 при просмотре исходного кода защитником и падает ровно до 0,000 при представлении, ориентированном на злоумышленника. Antares-1B и Antares-350M демонстрируют ту же модель отсутствия утечек. Этот результат переосмысливает кибербезопасность с точки зрения того, где работают возможности модели, а не того, просто ли модель отказывается помогать.
