Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Claude fable 5 protiv 51 i 52 chto menyaetsya pri obnovlenii
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Claude Fable 5 против 5.1 и 5.2: что меняется при обновлении

Источник: SonarSource•16 ноября 2026 г. в 21:44

Claude Fable 5 против 5.1 и 5.2: что меняется при обновлении

Мы протестировали Claude Fable 5, 5.1 и 5.2 параллельно. Fable 5.2 — самая мощная из трех моделей, с самым высоким процентом успешных прохождений и наименьшим количеством замечаний.

Fable 5.2 — это явное улучшение по сравнению с Fable 5 и Fable 5.1. Переход на эту версию дает вам больше рабочего кода, меньше замечаний и более высокий уровень безопасности. Обратной стороной являются ошибки параллелизма, количество которых продолжает расти, и стоимость, которая увеличивается из-за дополнительных рассуждений.

Fable 5 и Fable 5.1 вышли несколько месяцев назад, и мы не оценивали ни одну из них. Поэтому вместо того, чтобы сравнивать Fable 5.2 с одним предшественником, мы запустили все три модели вместе. Если ваша команда все еще использует Fable 5 или Fable 5.1, полезный вопрос заключается в том, что изменится при переходе на Fable 5.2. Все три модели выполняли одни и те же задачи и анализировались вместе, поэтому мы можем ответить на этот вопрос напрямую.

Как оценивались модели Fable?

Модели: Claude Fable 5, Fable 5.1 и Fable 5.2, все с режимом мышления «высокое усилие»

Язык: Java

Бенчмарк: тот же бенчмарк Java, который мы используем для каждой модели, охватывающий HumanEval, MBPP и ComplexCodeEval. Каждый запуск включает 4444 задачи. Из них 544 имеют исполняемые тесты, и процент успешных прохождений измеряется именно по этим 544 задачам. Все 4444 задачи анализируются на предмет качества кода и безопасности, откуда и берутся все показатели плотности, приведенные ниже.

Анализатор: систематический анализ кода SonarQube, при этом все три запуска анализировались по одному и тому же набору правил. Плотность сложности и запахов кода указана на 1000 строк кода (kLOC). Плотность ошибок и уязвимостей, а также все разбивки по категориям указаны на миллион строк (mLOC).

Три термина, которые стоит определить в первую очередь:

  • Цикломатическая сложность: подсчитывает количество независимых путей через функцию.
  • Когнитивная сложность: метрика SonarQube, которая придает больший вес вложенной и сильно разветвленной логике, отражая то, насколько трудно человеку читать код.
  • Серьезность: уровень влияния, который несет замечание, унаследованный от правила, которое его вызвало. Он описывает, насколько сильно замечание влияет на качества программного обеспечения, измеряемые Sonar. Это не прогноз того, насколько вероятно, что этот код попадет в продакшн.

Одно примечание по чтению таблиц. Показатели на малых выборках сильно меняются при очень малом количестве замечаний. При таких объемах одно замечание составляет от 1,3 до 1,7 на mLOC. Везде, где показатель мал, количество замечаний указано в тексте рядом с ним.

Как Fable 5, 5.1 и 5.2 соотносятся по ключевым метрикам?

Fable 5.2 имеет лучшие показатели из трех по ошибкам, уязвимостям, запахам кода и общим проблемам на строку, а также самый высокий процент успешных прохождений. Fable 5.1 была неоднозначным шагом. Ее безопасность улучшилась, но сложность и запахи кода выросли, прежде чем Fable 5.2 снова их снизила.

Метрика

Fable 5

Fable 5.1

Fable 5.2

Строк кода (всего)

603 400

790 763

673 338

Плотность комментариев (% от LOC)

9,9%

6,9%

8,7%

Цикломатическая сложность на kLOC

223,86

239,47

221,77

Когнитивная сложность на kLOC

124,10

141,84

124,63

Плотность ошибок на mLOC

608

563

557

Плотность уязвимостей на mLOC

446

281

248

Плотность запахов кода на kLOC

16,38

17,15

12,79

Общая плотность проблем на kLOC

17,44

18,00

13,60

Функциональный навык (процент прохождения)

87,68%

87,68%

90,26%

Пропущенные завершения

1,89%

0,74%

0,79%

Каков функциональный процент прохождения семейства Fable?

Fable 5 и Fable 5.1 проходят ровно те же 87,68%. Fable 5.2 проходит 90,26%.

Для контекста, таблица лидеров Sonar LLM ранжирует модели по этому числу. Самый высокий процент прохождения на данный момент у Claude Opus 5 — 88,60%, поэтому показатель Fable 5.2 в 90,26% выше, чем у любой другой модели в списке. Fable 5 и Fable 5.1 в точности соответствуют Claude Opus 5.5. Процент прохождения получается в результате выполнения тестов, а не наших анализаторов, поэтому он согласуется с моделями, измеренными в другое время.

Пропущенные завершения рассказывают другую историю. Fable 5 не вернула пригодный для использования код в 84 из 4444 задач. Fable 5.1 сократила это число до 33, а у Fable 5.2 этот показатель составляет 35.

Сколько кода генерируют модели Fable?

Fable 5.1 написала больше всего кода из трех, почти на треть больше, чем Fable 5. Fable 5.2 отступила от этого показателя, закончив примерно на 12% выше того уровня, с которого начала Fable 5.

Размер функций почти не изменился. Все три модели выдают от 7,6 до 8,1 строк на функцию, поэтому изменения в объеме связаны с написанием большего или меньшего количества функций, а не с их длиной. Fable 5.1 использовала 103 820 функций против 78 144 у Fable 5 и 82 680 у Fable 5.2.

Комментарии — сильная сторона всего семейства. Плотность комментариев составляет 9,9% для Fable 5, 6,9% для Fable 5.1 и 8,7% для Fable 5.2. Таким образом, любой, кто будет работать с этим кодом позже, получит много встроенного контекста от всех трех моделей.

Становится ли код сложнее от релиза к релизу?

Fable 5.1 — исключение. Цикломатическая сложность выросла на 7,0% до 239,47 на kLOC, а когнитивная сложность выросла на 14,3% до 141,84. Fable 5.2 вернула оба показателя: цикломатическую сложность до 221,77, чуть ниже Fable 5, и когнитивную до 124,63, чуть выше нее.

Таким образом, более плотная и вложенная логика была характерна именно для Fable 5.1. Fable 5.2 пишет логику примерно такой же плотности, как и Fable 5. Ни один из этих показателей не говорит о том, работает ли код, но оба указывают на то, сколько информации рецензент должен удерживать в голове одновременно.

Какова плотность ошибок в семействе Fable?

Плотность ошибок снижалась на каждом шаге: с 608 на mLOC до 563 и 557. Количество ошибок выглядит иначе: 367 ошибок для Fable 5, 445 для Fable 5.1 и 375 для Fable 5.2. У Fable 5.1 было больше ошибок, потому что она написала больше кода, а Fable 5.2 оказалась близка к Fable 5 по количеству ошибок, написав при этом на 11,6% больше строк.

Серьезность надежности на mLOC

Fable 5

Fable 5.1

Fable 5.2

БЛОКИРУЮЩАЯ

КРИТИЧЕСКАЯ

ВЫСОКАЯ

280

221

247

НИЗКАЯ

254

271

270

Верхняя часть шкалы — это то, где Fable 5.2 улучшилась больше всего, и это реальное сокращение, а не эффект знаменателя. Количество блокирующих ошибок сократилось с 20 в Fable 5 до 33 в Fable 5.1, а затем до 8 в Fable 5.2. Количество критических ошибок изменилось с 25 до 23 и до 19.

Категория ошибки

Fable 5/mLOC

Fable 5.1/mLOC

Fable 5.2/mLOC

Параллелизм / многопоточность

210

220

267

Null / значение данных

101

Производительность / структура

Утечки ресурсов / потоков

Обработка исключений

Нарушение контракта API

Безопасность типов / приведения

Шаблон / регулярные выражения

Ошибка потока управления

Структура данных

Без категории

Параллелизм и многопоточность — самая большая категория ошибок во всех трех моделях, и ситуация с ней ухудшалась с каждым релизом. Ее показатель и количество каждый раз росли, и сейчас она составляет почти половину ошибок Fable 5.2, по сравнению с примерно третью в Fable 5.

Большая часть остального профиля ошибок сократилась к Fable 5.2. Утечки ресурсов, обработка исключений, нарушения контрактов API и проблемы с безопасностью типов — все это сократилось примерно наполовину или более, а ошибки потока управления исчезли полностью.

Проблемы с Null и значениями данных также выросли между Fable 5 и Fable 5.2. Среди крупных категорий это единственная, помимо параллелизма, которая показала такой рост. Производительность и структура остались примерно на прежнем уровне, а остальные категории малы, с не более чем дюжиной замечаний в каждой из них.

Таким образом, профиль ошибок Fable 5.2 стал более концентрированным. Исправление только замечаний по параллелизму теперь решает почти половину задач по надежности. Это палка о двух концах. Это упрощает таргетирование исправлений, но при этом помещает наибольшую долю ошибок в одну из самых сложных для воспроизведения категорий. Правила, которые их помечают, узкие и специфичные: двойная проверка блокировки, блокировка, не освобождаемая на каждом пути выхода из метода, синхронизация по полю, которое переназначается, счетчик, инкрементируемый в volatile-поле, и вызовы wait или notify без удержания блокировки.

Какие уязвимости безопасности генерируют модели Fable?

Это самое заметное улучшение в семействе. Плотность уязвимостей снижалась на каждом этапе и в итоге оказалась на 44% ниже, чем у Fable 5. Количество уязвимостей также сократилось, поэтому это не просто те же самые находки, распределенные по большему объему кода.

Серьезность проблем безопасности на млн строк кода (mLOC)

Fable 5

Fable 5.1

Fable 5.2

БЛОКИРУЮЩИЕ

КРИТИЧЕСКИЕ

278

215

160

МАЙОР

МИНОР

111

Наиболее серьезные находки сократились сильнее всего. Количество блокирующих уязвимостей снижалось на каждом этапе, достигнув всего 4 в Fable 5.2, критические уязвимости также снижались на каждом этапе.

Количество мажорных и минорных уязвимостей снизилось в Fable 5.1, но снова выросло в Fable 5.2. Минорные уязвимости в итоге составляют около половины от начального уровня Fable 5, в то время как мажорные в итоге превышают его.

Категория уязвимости

Fable 5/mLOC

Fable 5.1/mLOC

Fable 5.2/mLOC

Небезопасная обработка системных ресурсов

143

Неправильная настройка криптографии

121

111

Неадекватная обработка ошибок (I/O)

Инъекционные атаки

Жестко закодированные учетные данные

Пропуски проверки сертификатов

Внешние XML-сущности (XXE)

Неправильная настройка безопасности Web API

Инъекции через обход пути (Path traversal)

Без категории

Две крупнейшие категории, небезопасная обработка системных ресурсов и неправильная настройка криптографии, сокращались на каждом этапе. Вместе они по-прежнему составляют около двух третей находок безопасности в Fable 5.2, поэтому именно на них в первую очередь следует обращать внимание в конвейере разработки. Неправильная настройка криптографии включает слабые алгоритмы, небезопасные размеры ключей и использование генераторов случайных чисел ненадлежащим образом.

Две категории исчезли в Fable 5.2: пропуски проверки сертификатов и внешние XML-сущности. Количество жестко закодированных учетных данных сократилось до 3 находок, а инъекций через обход пути — до одной.

Три категории снизились в Fable 5.1 и снова выросли в Fable 5.2. Инъекционные атаки в итоге оказались чуть выше уровня Fable 5, а неправильная настройка безопасности Web API — на том же уровне. Неадекватная обработка ошибок в итоге составила менее половины от начального уровня.

Насколько поддерживаемым является код семейства Fable?

Плотность «запахов кода» (code smells) немного выросла в Fable 5.1, а затем резко упала в Fable 5.2, оказавшись примерно на 22% ниже, чем в Fable 5. Количество «запахов» также снизилось, поэтому Fable 5.2 создает меньше «запахов», чем Fable 5, при написании большего объема кода.

Серьезность проблем поддерживаемости на млн строк кода (mLOC)

Fable 5

Fable 5.1

Fable 5.2

БЛОКИРУЮЩИЕ

КРИТИЧЕСКИЕ

2,403

2,410

1,368

МАЙОР

7,082

7,354

6,114

МИНОР

6,387

6,796

4,730

ИНФО

449

520

515

Большая часть улучшений в Fable 5.2 приходится на критический уровень, который снизился примерно на 43%. Блокирующие «запахи» оставались примерно на одном уровне во всех трех версиях.

Категория «запахов кода»

Fable 5/mLOC

Fable 5.1/mLOC

Fable 5.2/mLOC

Тип параметров коллекций / дженериков

6,032

6,974

5,164

Regex / шаблоны / форматирование строк

3,074

2,659

2,232

Проектирование / лучшие практики фреймворков

2,310

1,959

1,522

Именование / стиль / документация

1,203

1,390

1,222

Когнитивная вычислительная сложность

931

1,206

550

Мертвый / неиспользуемый / избыточный код

804

898

511

Присваивание / поля / область видимости

751

914

673

Управление / условная логика

507

613

535

Устаревшие API

388

322

247

Без категории

375

214

110

Структура / архитектура

Коллекции и дженерики — самая большая категория во всех трех версиях, составляющая около двух из каждых пяти «запахов». Каждая категория группирует множество правил (в данном случае семнадцать правил Java), поэтому общая сумма не говорит о том, какая именно часть является тем или иным видом проблемы.

Когнитивная вычислительная сложность снизилась больше всего среди крупных категорий в Fable 5.2, сократившись более чем вдвое по сравнению с Fable 5.1, что соответствует снижению метрики когнитивной сложности выше. Структура и архитектура — это единственная небольшая строка, которая выросла: с примерно 5 находок в Fable 5 до 20 (30 на млн строк кода). Как объем кода влияет на общее количество находок?

Общее количество находок

Fable 5

Fable 5.1

Fable 5.2

Ошибки

367

445

375

Уязвимости

269

222

167

Запахи кода

9,886

13,564

8,615

Все проблемы

10,522

14,231

9,157

Fable 5.1 — это версия, где объем и находки двигались вместе. Она написала на 31,1% больше кода и произвела на 35,2% больше находок, поэтому на одну строку кода у нее было немного больше проблем, чем у Fable 5, при этом общая плотность проблем выросла на 3,2%. Единственным явным преимуществом стала безопасность: меньше уязвимостей, несмотря на дополнительный код.

Fable 5.2 разорвала эту связь. Она написала на 11,6% больше кода, чем Fable 5, и при этом произвела на 13,0% меньше находок в целом, поэтому общая плотность проблем снизилась на 22,0% — с 17,44 на тысячу строк кода до 13,60. Для команды это означает меньше работы по сортировке и меньше проблем на каждую строку кода.

Как модели Fable соотносятся по использованию токенов?

Токены

Fable 5

Fable 5.1

Fable 5.2

Входные

2,069,584

2,078,466

2,078,466

Выходные

12,248,086

15,500,465

21,343,902

Из них рассуждения

[~2.4M]

[~3.2M]

[~10.1M]

Итого

14,317,670

17,578,931

23,422,368

Рассуждения учитываются в выходных данных в этих запусках, поэтому итоговое значение — это входные плюс выходные данные. Входные данные почти идентичны во всех трех случаях, как и следовало ожидать от одного и того же бенчмарка.

Выходные данные росли с каждым релизом: с 12,2 млн до 15,5 млн и до 21,3 млн. Строка рассуждений показывает, откуда пришел этот рост. Fable 5 и Fable 5.1 тратили около пятой части своих выходных данных на рассуждения. Fable 5.2 потратила почти половину, 10,1 млн токенов, что в четыре раза больше, чем использовала Fable 5.

На одну строку кода общий объем выходных данных вырос с примерно 20 токенов в Fable 5 и Fable 5.1 до 31,7 в Fable 5.2. Если убрать рассуждения, то останется код и текст, которые вернула модель, что составляет около 16 токенов на строку во всех трех случаях. Таким образом, Fable 5.2 не пишет больше на строку. Она больше думает перед тем, как писать, и ее успехи в частоте прохождения тестов и чистоте кода приходят вместе с этим.

Если вы оцениваете расходы, планируйте, что Fable 5.2 будет использовать на 74,3% больше выходных токенов, чем Fable 5 на этом бенчмарке, причем большая часть увеличения приходится на рассуждения.

Сколько стоит запуск моделей Fable?

Мы оценили каждый запуск по опубликованным тарифам API Anthropic. Fable 5 и Fable 5.1 стоят $10 за миллион входных токенов и $50 за миллион выходных токенов. Fable 5.2 стоит $8 и $40. Рассуждения оплачиваются как выходные данные.

Стоимость по прейскуранту

Fable 5

Fable 5.1

Fable 5.2

Итого

$633

$796

$870

19%

20%

46%

За задачу

$0.14

$0.18

$0.20

В рамках всего семейства код стал лучше, а его создание стало стоить дороже. Fable 5.2 проходит на 14 задач больше, чем Fable 5, с плотностью проблем на 22% ниже и плотностью уязвимостей на 44% ниже, при этом ее запуск стоит на 37,5% дороже.

Два шага дали разные результаты. Fable 5.1 стоила на 26% дороже, чем Fable 5, и прошла такое же количество задач, хотя плотность уязвимостей снизилась более чем на треть. Fable 5.2 добавила еще 9%, обеспечив более высокую частоту прохождения и снижение общего количества находок.

Большая часть дополнительных расходов приходится на рассуждения, которые стоили $122 для Fable 5 и $403 для Fable 5.2. Более низкая цена за токен смягчила этот эффект. По тарифам Fable 5 запуск Fable 5.2 стоил бы $1088, что примерно на 72% больше, чем Fable 5, а не на 37,5%.

Если вы оцениваете расходы, начинайте с рассуждений, а не с объема кода, который вы ожидаете получить. Пока что в этом семействе лучшие результаты сопровождаются более высокими счетами. И то, и другое стоит учитывать при выборе версии.

Каковы самые большие риски использования кода, сгенерированного Fable 5.2, в продакшене?

Конкурентность — на первом месте. Это самая большая категория ошибок, она росла с каждым релизом и сейчас составляет почти половину ошибок Fable 5.2. Это одни из самых сложных находок для обнаружения при проверке и воспроизведения после выпуска, а правила, которые их помечают, хорошо покрыты автоматизированным анализом.

Атаки путем внедрения кода (Injection attack) занимают второе место. Это небольшая категория, но она выросла вдвое по сравнению с Fable 5.1 и в итоге немного превысила показатели Fable 5.

Ошибки, связанные с нулевыми значениями (Null) и значениями данных, занимают третье место. Их количество снизилось в Fable 5.1, а затем выросло в Fable 5.2, превысив уровень начала Fable 5, что делает их второй по величине категорией ошибок после проблем с параллелизмом.

Безопасность — это хорошие новости. Количество уязвимостей снижалось с каждым релизом, количество блокирующих уязвимостей сократилось до 4, а в двух категориях их число достигло нуля.

Три основных вывода:

  • Fable 5.2 — самая сильная из трех моделей с точки зрения корректности и плотности проблем. Она проходит 491 из 544 задач, подтвержденных тестами, что на 14 больше, чем у Fable 5 и Fable 5.1, а общая плотность проблем в ней на 22,0% ниже, чем в Fable 5.
  • Безопасность улучшалась с каждым релизом. Количество уязвимостей изменилось с 269 до 222 и до 167, а количество блокирующих уязвимостей — с 24 до 18 и до 4.
  • Планируйте ресурсы на параллелизм и затраты. Ошибки параллелизма росли с каждым релизом и теперь составляют почти половину всех ошибок. Запуск бенчмарка стоил на 37,5% дороже, чем с Fable 5, но менее чем на десятую часть дороже, чем с Fable 5.1, поэтому заложите бюджет на дополнительные вычисления перед переходом.

Если вы используете Fable 5 или Fable 5.1, переходите на Fable 5.2: вы получите больше рабочего кода и меньше проблем при умеренном увеличении затрат. Только не воспринимайте более высокий процент успешного прохождения тестов как повод для снижения контроля. Оставшиеся ошибки сосредоточены в области параллелизма — одной из самых сложных категорий для визуального обнаружения, поэтому продолжайте проводить независимую проверку каждого изменения, вносимого моделью.

Полные результаты оценки всех трех моделей Fable, наряду со всеми другими моделями, которые мы измеряли, представлены в таблице лидеров Sonar LLM.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Как создавать короткие видео, которые выделяются в 2026 году
Hootsuite

Как создавать короткие видео, которые выделяются в 2026 году

Пакетная отправка для электронной коммерции: что это такое и как ее выполнять
Ordoro

Пакетная отправка для электронной коммерции: что это такое и как ее выполнять

AI Red Teaming: что тестировать и как реагировать на результаты
Anaconda

AI Red Teaming: что тестировать и как реагировать на результаты

deepset | Цифровой суверенитет сегодня также означает экономическую независимость: deepset делает затраты на ИИ-агентов прозрачными и управляемыми
deepset

deepset | Цифровой суверенитет сегодня также означает экономическую независимость: deepset делает затраты на ИИ-агентов прозрачными и управляемыми

7 лучших альтернатив Buffer в 2026 году (сравнение по размеру и цене)
Hootsuite

7 лучших альтернатив Buffer в 2026 году (сравнение по размеру и цене)

Как написать бизнес-план для открытия кафе
Lightspeed

Как написать бизнес-план для открытия кафе

Ещё от SonarSource

Sonar добавляет аналитику уязвимостей в OpenAI Daybreak Defense Factory
SonarSource

Sonar добавляет аналитику уязвимостей в OpenAI Daybreak Defense Factory

ИИ достиг 65% закоммиченного кода на год раньше срока. Знаем ли мы, что внутри?
SonarSource

ИИ достиг 65% закоммиченного кода на год раньше срока. Знаем ли мы, что внутри?

Теперь доступно: плагин SonarQube для Devin CLI
SonarSource

Теперь доступно: плагин SonarQube для Devin CLI

Верификация — это система обратной связи фабрики
SonarSource

Верификация — это система обратной связи фабрики

Задайте предполагаемую архитектуру для вашего агента кодирования без диаграмм
SonarSource

Задайте предполагаемую архитектуру для вашего агента кодирования без диаграмм

Иерархии портфелей теперь доступны в SonarQube Cloud
SonarSource

Иерархии портфелей теперь доступны в SonarQube Cloud