Fable 5.2 — это явное улучшение по сравнению с Fable 5 и Fable 5.1. Переход на эту версию дает вам больше рабочего кода, меньше замечаний и более высокий уровень безопасности. Обратной стороной являются ошибки параллелизма, количество которых продолжает расти, и стоимость, которая увеличивается из-за дополнительных рассуждений.
Fable 5 и Fable 5.1 вышли несколько месяцев назад, и мы не оценивали ни одну из них. Поэтому вместо того, чтобы сравнивать Fable 5.2 с одним предшественником, мы запустили все три модели вместе. Если ваша команда все еще использует Fable 5 или Fable 5.1, полезный вопрос заключается в том, что изменится при переходе на Fable 5.2. Все три модели выполняли одни и те же задачи и анализировались вместе, поэтому мы можем ответить на этот вопрос напрямую.
Как оценивались модели Fable?
Модели: Claude Fable 5, Fable 5.1 и Fable 5.2, все с режимом мышления «высокое усилие»
Язык: Java
Бенчмарк: тот же бенчмарк Java, который мы используем для каждой модели, охватывающий HumanEval, MBPP и ComplexCodeEval. Каждый запуск включает 4444 задачи. Из них 544 имеют исполняемые тесты, и процент успешных прохождений измеряется именно по этим 544 задачам. Все 4444 задачи анализируются на предмет качества кода и безопасности, откуда и берутся все показатели плотности, приведенные ниже.
Анализатор: систематический анализ кода SonarQube, при этом все три запуска анализировались по одному и тому же набору правил. Плотность сложности и запахов кода указана на 1000 строк кода (kLOC). Плотность ошибок и уязвимостей, а также все разбивки по категориям указаны на миллион строк (mLOC).
Три термина, которые стоит определить в первую очередь:
- Цикломатическая сложность: подсчитывает количество независимых путей через функцию.
- Когнитивная сложность: метрика SonarQube, которая придает больший вес вложенной и сильно разветвленной логике, отражая то, насколько трудно человеку читать код.
- Серьезность: уровень влияния, который несет замечание, унаследованный от правила, которое его вызвало. Он описывает, насколько сильно замечание влияет на качества программного обеспечения, измеряемые Sonar. Это не прогноз того, насколько вероятно, что этот код попадет в продакшн.
Одно примечание по чтению таблиц. Показатели на малых выборках сильно меняются при очень малом количестве замечаний. При таких объемах одно замечание составляет от 1,3 до 1,7 на mLOC. Везде, где показатель мал, количество замечаний указано в тексте рядом с ним.
Как Fable 5, 5.1 и 5.2 соотносятся по ключевым метрикам?
Fable 5.2 имеет лучшие показатели из трех по ошибкам, уязвимостям, запахам кода и общим проблемам на строку, а также самый высокий процент успешных прохождений. Fable 5.1 была неоднозначным шагом. Ее безопасность улучшилась, но сложность и запахи кода выросли, прежде чем Fable 5.2 снова их снизила.
Метрика
Fable 5
Fable 5.1
Fable 5.2
Строк кода (всего)
603 400
790 763
673 338
Плотность комментариев (% от LOC)
9,9%
6,9%
8,7%
Цикломатическая сложность на kLOC
223,86
239,47
221,77
Когнитивная сложность на kLOC
124,10
141,84
124,63
Плотность ошибок на mLOC
608
563
557
Плотность уязвимостей на mLOC
446
281
248
Плотность запахов кода на kLOC
16,38
17,15
12,79
Общая плотность проблем на kLOC
17,44
18,00
13,60
Функциональный навык (процент прохождения)
87,68%
87,68%
90,26%
Пропущенные завершения
1,89%
0,74%
0,79%
Каков функциональный процент прохождения семейства Fable?
Fable 5 и Fable 5.1 проходят ровно те же 87,68%. Fable 5.2 проходит 90,26%.
Для контекста, таблица лидеров Sonar LLM ранжирует модели по этому числу. Самый высокий процент прохождения на данный момент у Claude Opus 5 — 88,60%, поэтому показатель Fable 5.2 в 90,26% выше, чем у любой другой модели в списке. Fable 5 и Fable 5.1 в точности соответствуют Claude Opus 5.5. Процент прохождения получается в результате выполнения тестов, а не наших анализаторов, поэтому он согласуется с моделями, измеренными в другое время.
Пропущенные завершения рассказывают другую историю. Fable 5 не вернула пригодный для использования код в 84 из 4444 задач. Fable 5.1 сократила это число до 33, а у Fable 5.2 этот показатель составляет 35.
Сколько кода генерируют модели Fable?
Fable 5.1 написала больше всего кода из трех, почти на треть больше, чем Fable 5. Fable 5.2 отступила от этого показателя, закончив примерно на 12% выше того уровня, с которого начала Fable 5.
Размер функций почти не изменился. Все три модели выдают от 7,6 до 8,1 строк на функцию, поэтому изменения в объеме связаны с написанием большего или меньшего количества функций, а не с их длиной. Fable 5.1 использовала 103 820 функций против 78 144 у Fable 5 и 82 680 у Fable 5.2.
Комментарии — сильная сторона всего семейства. Плотность комментариев составляет 9,9% для Fable 5, 6,9% для Fable 5.1 и 8,7% для Fable 5.2. Таким образом, любой, кто будет работать с этим кодом позже, получит много встроенного контекста от всех трех моделей.
Становится ли код сложнее от релиза к релизу?
Fable 5.1 — исключение. Цикломатическая сложность выросла на 7,0% до 239,47 на kLOC, а когнитивная сложность выросла на 14,3% до 141,84. Fable 5.2 вернула оба показателя: цикломатическую сложность до 221,77, чуть ниже Fable 5, и когнитивную до 124,63, чуть выше нее.
Таким образом, более плотная и вложенная логика была характерна именно для Fable 5.1. Fable 5.2 пишет логику примерно такой же плотности, как и Fable 5. Ни один из этих показателей не говорит о том, работает ли код, но оба указывают на то, сколько информации рецензент должен удерживать в голове одновременно.
Какова плотность ошибок в семействе Fable?
Плотность ошибок снижалась на каждом шаге: с 608 на mLOC до 563 и 557. Количество ошибок выглядит иначе: 367 ошибок для Fable 5, 445 для Fable 5.1 и 375 для Fable 5.2. У Fable 5.1 было больше ошибок, потому что она написала больше кода, а Fable 5.2 оказалась близка к Fable 5 по количеству ошибок, написав при этом на 11,6% больше строк.
Серьезность надежности на mLOC
Fable 5
Fable 5.1
Fable 5.2
БЛОКИРУЮЩАЯ
КРИТИЧЕСКАЯ
ВЫСОКАЯ
280
221
247
НИЗКАЯ
254
271
270
Верхняя часть шкалы — это то, где Fable 5.2 улучшилась больше всего, и это реальное сокращение, а не эффект знаменателя. Количество блокирующих ошибок сократилось с 20 в Fable 5 до 33 в Fable 5.1, а затем до 8 в Fable 5.2. Количество критических ошибок изменилось с 25 до 23 и до 19.
Категория ошибки
Fable 5/mLOC
Fable 5.1/mLOC
Fable 5.2/mLOC
Параллелизм / многопоточность
210
220
267
Null / значение данных
101
Производительность / структура
Утечки ресурсов / потоков
Обработка исключений
Нарушение контракта API
Безопасность типов / приведения
Шаблон / регулярные выражения
Ошибка потока управления
Структура данных
Без категории
Параллелизм и многопоточность — самая большая категория ошибок во всех трех моделях, и ситуация с ней ухудшалась с каждым релизом. Ее показатель и количество каждый раз росли, и сейчас она составляет почти половину ошибок Fable 5.2, по сравнению с примерно третью в Fable 5.
Большая часть остального профиля ошибок сократилась к Fable 5.2. Утечки ресурсов, обработка исключений, нарушения контрактов API и проблемы с безопасностью типов — все это сократилось примерно наполовину или более, а ошибки потока управления исчезли полностью.
Проблемы с Null и значениями данных также выросли между Fable 5 и Fable 5.2. Среди крупных категорий это единственная, помимо параллелизма, которая показала такой рост. Производительность и структура остались примерно на прежнем уровне, а остальные категории малы, с не более чем дюжиной замечаний в каждой из них.
Таким образом, профиль ошибок Fable 5.2 стал более концентрированным. Исправление только замечаний по параллелизму теперь решает почти половину задач по надежности. Это палка о двух концах. Это упрощает таргетирование исправлений, но при этом помещает наибольшую долю ошибок в одну из самых сложных для воспроизведения категорий. Правила, которые их помечают, узкие и специфичные: двойная проверка блокировки, блокировка, не освобождаемая на каждом пути выхода из метода, синхронизация по полю, которое переназначается, счетчик, инкрементируемый в volatile-поле, и вызовы wait или notify без удержания блокировки.
Какие уязвимости безопасности генерируют модели Fable?
Это самое заметное улучшение в семействе. Плотность уязвимостей снижалась на каждом этапе и в итоге оказалась на 44% ниже, чем у Fable 5. Количество уязвимостей также сократилось, поэтому это не просто те же самые находки, распределенные по большему объему кода.
Серьезность проблем безопасности на млн строк кода (mLOC)
Fable 5
Fable 5.1
Fable 5.2
БЛОКИРУЮЩИЕ
КРИТИЧЕСКИЕ
278
215
160
МАЙОР
МИНОР
111
Наиболее серьезные находки сократились сильнее всего. Количество блокирующих уязвимостей снижалось на каждом этапе, достигнув всего 4 в Fable 5.2, критические уязвимости также снижались на каждом этапе.
Количество мажорных и минорных уязвимостей снизилось в Fable 5.1, но снова выросло в Fable 5.2. Минорные уязвимости в итоге составляют около половины от начального уровня Fable 5, в то время как мажорные в итоге превышают его.
Категория уязвимости
Fable 5/mLOC
Fable 5.1/mLOC
Fable 5.2/mLOC
Небезопасная обработка системных ресурсов
143
Неправильная настройка криптографии
121
111
Неадекватная обработка ошибок (I/O)
Инъекционные атаки
Жестко закодированные учетные данные
Пропуски проверки сертификатов
Внешние XML-сущности (XXE)
Неправильная настройка безопасности Web API
Инъекции через обход пути (Path traversal)
Без категории
Две крупнейшие категории, небезопасная обработка системных ресурсов и неправильная настройка криптографии, сокращались на каждом этапе. Вместе они по-прежнему составляют около двух третей находок безопасности в Fable 5.2, поэтому именно на них в первую очередь следует обращать внимание в конвейере разработки. Неправильная настройка криптографии включает слабые алгоритмы, небезопасные размеры ключей и использование генераторов случайных чисел ненадлежащим образом.
Две категории исчезли в Fable 5.2: пропуски проверки сертификатов и внешние XML-сущности. Количество жестко закодированных учетных данных сократилось до 3 находок, а инъекций через обход пути — до одной.
Три категории снизились в Fable 5.1 и снова выросли в Fable 5.2. Инъекционные атаки в итоге оказались чуть выше уровня Fable 5, а неправильная настройка безопасности Web API — на том же уровне. Неадекватная обработка ошибок в итоге составила менее половины от начального уровня.
Насколько поддерживаемым является код семейства Fable?
Плотность «запахов кода» (code smells) немного выросла в Fable 5.1, а затем резко упала в Fable 5.2, оказавшись примерно на 22% ниже, чем в Fable 5. Количество «запахов» также снизилось, поэтому Fable 5.2 создает меньше «запахов», чем Fable 5, при написании большего объема кода.
Серьезность проблем поддерживаемости на млн строк кода (mLOC)
Fable 5
Fable 5.1
Fable 5.2
БЛОКИРУЮЩИЕ
КРИТИЧЕСКИЕ
2,403
2,410
1,368
МАЙОР
7,082
7,354
6,114
МИНОР
6,387
6,796
4,730
ИНФО
449
520
515
Большая часть улучшений в Fable 5.2 приходится на критический уровень, который снизился примерно на 43%. Блокирующие «запахи» оставались примерно на одном уровне во всех трех версиях.
Категория «запахов кода»
Fable 5/mLOC
Fable 5.1/mLOC
Fable 5.2/mLOC
Тип параметров коллекций / дженериков
6,032
6,974
5,164
Regex / шаблоны / форматирование строк
3,074
2,659
2,232
Проектирование / лучшие практики фреймворков
2,310
1,959
1,522
Именование / стиль / документация
1,203
1,390
1,222
Когнитивная вычислительная сложность
931
1,206
550
Мертвый / неиспользуемый / избыточный код
804
898
511
Присваивание / поля / область видимости
751
914
673
Управление / условная логика
507
613
535
Устаревшие API
388
322
247
Без категории
375
214
110
Структура / архитектура
Коллекции и дженерики — самая большая категория во всех трех версиях, составляющая около двух из каждых пяти «запахов». Каждая категория группирует множество правил (в данном случае семнадцать правил Java), поэтому общая сумма не говорит о том, какая именно часть является тем или иным видом проблемы.
Когнитивная вычислительная сложность снизилась больше всего среди крупных категорий в Fable 5.2, сократившись более чем вдвое по сравнению с Fable 5.1, что соответствует снижению метрики когнитивной сложности выше. Структура и архитектура — это единственная небольшая строка, которая выросла: с примерно 5 находок в Fable 5 до 20 (30 на млн строк кода). Как объем кода влияет на общее количество находок?
Общее количество находок
Fable 5
Fable 5.1
Fable 5.2
Ошибки
367
445
375
Уязвимости
269
222
167
Запахи кода
9,886
13,564
8,615
Все проблемы
10,522
14,231
9,157
Fable 5.1 — это версия, где объем и находки двигались вместе. Она написала на 31,1% больше кода и произвела на 35,2% больше находок, поэтому на одну строку кода у нее было немного больше проблем, чем у Fable 5, при этом общая плотность проблем выросла на 3,2%. Единственным явным преимуществом стала безопасность: меньше уязвимостей, несмотря на дополнительный код.
Fable 5.2 разорвала эту связь. Она написала на 11,6% больше кода, чем Fable 5, и при этом произвела на 13,0% меньше находок в целом, поэтому общая плотность проблем снизилась на 22,0% — с 17,44 на тысячу строк кода до 13,60. Для команды это означает меньше работы по сортировке и меньше проблем на каждую строку кода.
Как модели Fable соотносятся по использованию токенов?
Токены
Fable 5
Fable 5.1
Fable 5.2
Входные
2,069,584
2,078,466
2,078,466
Выходные
12,248,086
15,500,465
21,343,902
Из них рассуждения
[~2.4M]
[~3.2M]
[~10.1M]
Итого
14,317,670
17,578,931
23,422,368
Рассуждения учитываются в выходных данных в этих запусках, поэтому итоговое значение — это входные плюс выходные данные. Входные данные почти идентичны во всех трех случаях, как и следовало ожидать от одного и того же бенчмарка.
Выходные данные росли с каждым релизом: с 12,2 млн до 15,5 млн и до 21,3 млн. Строка рассуждений показывает, откуда пришел этот рост. Fable 5 и Fable 5.1 тратили около пятой части своих выходных данных на рассуждения. Fable 5.2 потратила почти половину, 10,1 млн токенов, что в четыре раза больше, чем использовала Fable 5.
На одну строку кода общий объем выходных данных вырос с примерно 20 токенов в Fable 5 и Fable 5.1 до 31,7 в Fable 5.2. Если убрать рассуждения, то останется код и текст, которые вернула модель, что составляет около 16 токенов на строку во всех трех случаях. Таким образом, Fable 5.2 не пишет больше на строку. Она больше думает перед тем, как писать, и ее успехи в частоте прохождения тестов и чистоте кода приходят вместе с этим.
Если вы оцениваете расходы, планируйте, что Fable 5.2 будет использовать на 74,3% больше выходных токенов, чем Fable 5 на этом бенчмарке, причем большая часть увеличения приходится на рассуждения.
Сколько стоит запуск моделей Fable?
Мы оценили каждый запуск по опубликованным тарифам API Anthropic. Fable 5 и Fable 5.1 стоят $10 за миллион входных токенов и $50 за миллион выходных токенов. Fable 5.2 стоит $8 и $40. Рассуждения оплачиваются как выходные данные.
Стоимость по прейскуранту
Fable 5
Fable 5.1
Fable 5.2
Итого
$633
$796
$870
19%
20%
46%
За задачу
$0.14
$0.18
$0.20
В рамках всего семейства код стал лучше, а его создание стало стоить дороже. Fable 5.2 проходит на 14 задач больше, чем Fable 5, с плотностью проблем на 22% ниже и плотностью уязвимостей на 44% ниже, при этом ее запуск стоит на 37,5% дороже.
Два шага дали разные результаты. Fable 5.1 стоила на 26% дороже, чем Fable 5, и прошла такое же количество задач, хотя плотность уязвимостей снизилась более чем на треть. Fable 5.2 добавила еще 9%, обеспечив более высокую частоту прохождения и снижение общего количества находок.
Большая часть дополнительных расходов приходится на рассуждения, которые стоили $122 для Fable 5 и $403 для Fable 5.2. Более низкая цена за токен смягчила этот эффект. По тарифам Fable 5 запуск Fable 5.2 стоил бы $1088, что примерно на 72% больше, чем Fable 5, а не на 37,5%.
Если вы оцениваете расходы, начинайте с рассуждений, а не с объема кода, который вы ожидаете получить. Пока что в этом семействе лучшие результаты сопровождаются более высокими счетами. И то, и другое стоит учитывать при выборе версии.
Каковы самые большие риски использования кода, сгенерированного Fable 5.2, в продакшене?
Конкурентность — на первом месте. Это самая большая категория ошибок, она росла с каждым релизом и сейчас составляет почти половину ошибок Fable 5.2. Это одни из самых сложных находок для обнаружения при проверке и воспроизведения после выпуска, а правила, которые их помечают, хорошо покрыты автоматизированным анализом.
Атаки путем внедрения кода (Injection attack) занимают второе место. Это небольшая категория, но она выросла вдвое по сравнению с Fable 5.1 и в итоге немного превысила показатели Fable 5.
Ошибки, связанные с нулевыми значениями (Null) и значениями данных, занимают третье место. Их количество снизилось в Fable 5.1, а затем выросло в Fable 5.2, превысив уровень начала Fable 5, что делает их второй по величине категорией ошибок после проблем с параллелизмом.
Безопасность — это хорошие новости. Количество уязвимостей снижалось с каждым релизом, количество блокирующих уязвимостей сократилось до 4, а в двух категориях их число достигло нуля.
Три основных вывода:
- Fable 5.2 — самая сильная из трех моделей с точки зрения корректности и плотности проблем. Она проходит 491 из 544 задач, подтвержденных тестами, что на 14 больше, чем у Fable 5 и Fable 5.1, а общая плотность проблем в ней на 22,0% ниже, чем в Fable 5.
- Безопасность улучшалась с каждым релизом. Количество уязвимостей изменилось с 269 до 222 и до 167, а количество блокирующих уязвимостей — с 24 до 18 и до 4.
- Планируйте ресурсы на параллелизм и затраты. Ошибки параллелизма росли с каждым релизом и теперь составляют почти половину всех ошибок. Запуск бенчмарка стоил на 37,5% дороже, чем с Fable 5, но менее чем на десятую часть дороже, чем с Fable 5.1, поэтому заложите бюджет на дополнительные вычисления перед переходом.
Если вы используете Fable 5 или Fable 5.1, переходите на Fable 5.2: вы получите больше рабочего кода и меньше проблем при умеренном увеличении затрат. Только не воспринимайте более высокий процент успешного прохождения тестов как повод для снижения контроля. Оставшиеся ошибки сосредоточены в области параллелизма — одной из самых сложных категорий для визуального обнаружения, поэтому продолжайте проводить независимую проверку каждого изменения, вносимого моделью.
Полные результаты оценки всех трех моделей Fable, наряду со всеми другими моделями, которые мы измеряли, представлены в таблице лидеров Sonar LLM.












