CWE-bench создан для проверки пределов возможностей в сфере передовой кибербезопасности. Стремясь и дальше расширять горизонты в Collinear AI, CWE-bench v2 открывает публичный набор из 100 задач, которые каждый может запустить и оценить на них свои модели. Настройка осталась прежней. Агент получает копию реального репозитория с открытым исходным кодом и короткую инструкцию с целью найти и устранить уязвимость безопасности, не нарушая существующую функциональность. Подсчет баллов полностью программный, поэтому результаты детерминированы, и любой может воспроизвести их без дополнительных затрат. Все наши программные проверки были отобраны с помощью экспертных панелей на базе LLM, которые ориентируют их на сложность и справедливость. Мы также поддерживаем скрытый набор, чтобы продолжать отслеживать прогресс по задачам, с которыми не сталкивалась ни одна модель. Чтобы оценить вашу модель на скрытом наборе, свяжитесь с нами по адресу cyber@collinear.ai.
Наша цель — быть исчерпывающими. Защитнику приходится предвидеть все возможные пути проникновения злоумышленника и справляться с этим каждый божий раз. Эти 100 задач охватывают 91 различный CWE, охватывающий широкий спектр классов уязвимостей. Модель, которая хорошо справляется с этой задачей, должна понимать множество поверхностей слабости, которые потенциальный злоумышленник может использовать. Распознавания знакомого паттерна недостаточно.
В рамках нашей кропотливой работы по постоянному повышению качества мы проверяли каждую задачу на соответствие следующим критериям:
- Читается ли инструкция как реалистичная задача, а не как условие оценки?
- Можно ли вывести любое оцениваемое поведение из инструкции?
- Проверяет ли верификатор правильное поведение, а не специфическую структуру одного исправления?
- Терпит ли исходный код неудачу, а эталонное исправление — успех?
- Работает ли исходная функциональность с новым исправлением?
- Дают ли верификаторы сбой при попытке использовать заученные решения вроде известного патча вышестоящего репозитория?
Каждая задача также была проверена вручную. Открытие исходного кода набора — часть той же работы по повышению качества. Мы приветствуем отзывы о любых задачах и вклад в публичный набор.
Результаты
Результаты отслеживаются в двух местах на Hub. Таблица лидеров на странице датасета CWE-bench охватывает модели с открытыми весами и обновляется самостоятельно: лаборатории и сообщество добавляют результаты, открывая PR в репозитории модели с файлом результатов (как это сделать). Для полного сравнения, включая модели только с API, такие как Gemini, Claude и GPT, см. таблицу лидеров CWE-bench Space, куда новые модели добавляются через PR в Space.
Модели с открытыми весами со страницы датасета:
Все оцениваемые модели, включая те, что доступны только через API:
Из 11 оцениваемых моделей лидирует Gemini 4 Argon с показателями 67.8% pass@1 и 81.0% pass@4, лишь ненамного опережая Claude Opus 5.5 (67.3% pass@1, 78.0% pass@4). 95 задач решены как минимум одной моделью, что указывает на их решаемость. Тем не менее, даже лидер терпит неудачу на 19% набора при каждой попытке, так что до решения «длинного хвоста» еще далеко. Публичный набор, оценивающее устройство и обвязка открыты. Запустите свою модель и покажите, чего она стоит.
С точки зрения затрат, DeepSeek V4.1 Flash (1017), Claude Opus 5.5 и Gemini 4 Argon образуют границу Парето: DeepSeek достигает 57.0% pass@1 при стоимости $0.04 за запуск, Opus добавляет десять пунктов при стоимости $1.83, а Gemini вырывается вперед при стоимости $3.92.
Запуск из Hub
Каждая задача представляет собой автономную Harbor задачу (среду Docker, инструкцию и детерминированный верификатор), а в комплект датасета входит файл registry.json. Таким образом, Harbor может запустить весь бенчмарк напрямую из репозитория Hugging Face, ничего не клонируя самостоятельно:
-k 4 запускает 4 попытки для каждой задачи, а сообщаемый балл представляет собой среднее вознаграждение по всем 400 попыткам. Датасет является ограниченным: сначала примите условия доступа к нему на странице датасета. Harbor загружает задачи с помощью git, поэтому также сохраните ваш токен HF в учетном помощнике git:
Задачи также помечены тегом rl-environment: те же среды и верификаторы могут обеспечивать вознаграждение для обучения агентов защиты, а не только для их оценки.
