Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Foundation ai v sentyabre vloc bench i bezopasnost kibervozmozhnostey
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Foundation AI в сентябре: VLoc Bench и безопасность кибервозможностей

Источник: Cisco Blogs•6 октября 2026 г. в 22:09

Foundation AI в сентябре: VLoc Bench и безопасность кибервозможностей

Сентябрь стал месяцем бенчмарков, сфокусированным на том, в чем ИИ с кибервозможностями должен быть силен, где он должен терпеть неудачу и как измерить эту разницу. Вот что мы выпустили. VLoc Bench: могут ли агенты находить уязвимый код в масштабах репозитория? (блог, 4 сентября).

Сентябрь стал знаковым месяцем, сосредоточенным на том, в чем ИИ с кибервозможностями должен быть силен, где он должен давать сбои и как измерить эту разницу. Вот что мы выпустили.

VLoc Bench: Can Agents Find Vulnerable Code at Repository Scale? (blog, Sep 4). Большинство тестов безопасности предполагают, что соответствующий код уже известен. На практике защитникам сначала нужно его найти. Мы выпустили VLoc Bench для оценки этого недостающего этапа: если дано только описание CWE и доступ к реальному репозиторию только для чтения, может ли агент определить файлы, связанные с уязвимостью? Здесь нет текста рекомендаций, идентификатора CVE, коммита с исправлением или подсказки по файлу. Модель должна сама выполнить поиск в репозитории и принять решение.

VLoc Bench (технический отчет). Тест включает 500 реальных уязвимостей из 290 репозиториев в шести экосистемах пакетов и 147 категориях CWE. Каждая задача объединяет два снимка одного и того же репозитория. На этапе А агент должен локализовать затронутые файлы до внесения исправления безопасности. На этапе B он должен изучить исправленный репозиторий и распознать, что уязвимость больше не присутствует. Такая конструкция разделяет три возможности, которые часто смешивают: понимание кода, поиск уязвимого кода и проверка устранения.

VLoc Bench (таблица лидеров). Мы оценили 27 языковых моделей и четыре инструмента статического анализа с использованием одного и того же промпта, инструментов только для чтения и бюджета команд. Локализация в масштабах репозитория все еще далека от решения: самая сильная система достигает лишь 0,229 по метрике File F1, а в 38,4% задач ни одна из оцененных моделей не находит ни одного правильного файла. Antares-3B занимает второе место в общем зачете с показателем 0,223, несмотря на наличие всего трех миллиардов параметров. Таблица лидеров также выявляет важный компромисс: системы, которые лучше всего находят уязвимые файлы, не обязательно лучше всего распознают, когда эти уязвимости уже были устранены.

Measuring Attacker/Defender Asymmetry (blog, Sep 2) Отказ от выполнения запросов по кибербезопасности не обязательно делает модель безопасной; это также может лишить защитников полезных возможностей. Safety-VLoc-Bench измеряет, благоприятствует ли способность локализации уязвимостей защитникам, сравнивая производительность на исходном коде с производительностью на очищенных, декомпилированных бинарных файлах. Среди 95 парных уязвимостей C и C++ Antares-3B достигает 0,823 по метрике File F1 при просмотре исходного кода защитником и падает ровно до 0,000 при представлении, ориентированном на злоумышленника. Antares-1B и Antares-350M демонстрируют ту же модель отсутствия утечек. Этот результат переосмысливает кибербезопасность с точки зрения того, где работают возможности модели, а не того, просто ли модель отказывается помогать.

← Все статьи

О чём эта статья

Ещё в разделе «Hardware и электроника»

Все →
Ваш ИИ-коллега: как бизнес-ноутбуки с ИИ меняют наш подход к работе
MSI

Ваш ИИ-коллега: как бизнес-ноутбуки с ИИ меняют наш подход к работе

От ИИ-ассистента к ИИ-агенту и ИИ-коллеге: как выбрать бизнес-ноутбук для работы с ИИ
MSI

От ИИ-ассистента к ИИ-агенту и ИИ-коллеге: как выбрать бизнес-ноутбук для работы с ИИ

Облачный ИИ против локального ИИ и гибридного ИИ: что подходит именно вам?
MSI

Облачный ИИ против локального ИИ и гибридного ИИ: что подходит именно вам?

Руководство по выбору ноутбука с GPU: как выбрать объем видеопамяти и мощность для игр, ИИ и создания контента
MSI

Руководство по выбору ноутбука с GPU: как выбрать объем видеопамяти и мощность для игр, ИИ и создания контента

ATX против Micro-ATX против Mini-ITX: размеры, совместимость с корпусами и какой размер вам выбрать?
MSI

ATX против Micro-ATX против Mini-ITX: размеры, совместимость с корпусами и какой размер вам выбрать?

Как выбрать подходящий игровой ПК на базе AMD под ваши задачи
MSI

Как выбрать подходящий игровой ПК на базе AMD под ваши задачи

Ещё от Cisco

Ваш путеводитель по новогодним скидкам на обучение с Cisco U.
Cisco

Ваш путеводитель по новогодним скидкам на обучение с Cisco U.

Безопасные сети: новый стандарт для роста партнерского бизнеса
Cisco

Безопасные сети: новый стандарт для роста партнерского бизнеса

Обновление со скоростью обнаружения: полная модернизация сетевых ОС за дни, а не месяцы
Cisco

Обновление со скоростью обнаружения: полная модернизация сетевых ОС за дни, а не месяцы

От теплого приема к гостеприимству: закономерный этап моего пути в Cisco
Cisco

От теплого приема к гостеприимству: закономерный этап моего пути в Cisco

Сила AgenticOps: как команда из 4 специализированных ИИ-агентов может расширить возможности ваших управляемых сервисов
Cisco

Сила AgenticOps: как команда из 4 специализированных ИИ-агентов может расширить возможности ваших управляемых сервисов

От карманного фонарика к прожектору: что изменили шесть месяцев использования передового ИИ в Cisco
Cisco

От карманного фонарика к прожектору: что изменили шесть месяцев использования передового ИИ в Cisco