Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Swe 2 flash protiv flint v10 odna chestnaya stroka benchmarka i massa shuma
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · All rights reserved.

SWE-2 Flash против Flint v1.0: одна честная строка бенчмарка и масса шума

Источник: OrcaRouter•5 ноября 2026 г. в 00:00

SWE-2 Flash против Flint v1.0: одна честная строка бенчмарка и масса шума

SWE-2 Flash and Flint v1.0 report the same Terminal-Bench row and two SWE-bench Pro numbers that look identical. Only one comparison is valid.

Две небольшие активные кодинговые модели типа «микросхема экспертов» (mixture-of-experts), выпущенные с разницей в пятнадцать дней, заявляют об одном и том же уровне производительности за малую долю стоимости флагманских моделей. SWE-2 Flash от Cognition (выпущена 4 ноября 2026 г.) имеет 276 млрд параметров в общей сложности и 12 млрд активных. Flint v1.0 от Recursive (выпущена 21 октября 2026 г.) насчитывает 39,8 млрд общих и примерно 2,5 млрд активных параметров. Они представляют собой одну и ту же архитектурную ставку в совершенно разных масштабах — и честный способ сравнить их заключается в том, чтобы сразу признать: их опубликованные таблицы пересекаются ровно по одной строке.

Эта строка — Terminal-Bench 2.1: 89,2 у SWE-2 Flash против 54,9 у Flint v1.0. Разрыв составляет 34 пункта, это самый весомый показатель, который любая из компаний продемонстрировала в данном противостоянии, и он сопровождается двумя оговорками, достаточно весомыми, чтобы изменить ваше восприятие. Всё остальное, что вам захочется сравнить, представляет собой либо другую версию бенчмарка, либо другой поднабор того же бенчмарка.

Одна ставка, противоположные лицензии

Общий тезис заключается в том, что стоимость инференса определяют активные параметры, а не общие, поэтому можно построить большую разреженную модель и платить только за задействованную часть. Flint задействует 6 из 256 маршрутизируемых экспертов плюс одного общего эксперта на токен в 49 слоях, 35 из которых используют скользящее окно (sliding-window) размером 513 токенов, а 14 — полное внимание (full attention). SWE-2 Flash унаследовала эту структуру от своей базовой модели Inkling-Small: 276 млрд общих, 12 млрд активных параметров, прошедших посттренинг с промежуточным этапом обучения, который Cognition ранее не использовала.

Разница, которая имеет гораздо большее значение, чем любые архитектурные детали, заключается в том, что вам разрешено делать с выводом:

• Веса — Flint v1.0 распространяется по лицензии Apache 2.0 на Hugging Face в форматах BF16, FP8 и в квантованном виде. SWE-2 Flash полностью скрыта, обещана партнерская программа совместного доступа, но детали пока не уточняются.

• Распространение — Flint работает через llama.cpp, Ollama, LM Studio, vLLM и SGLang на вашем собственном оборудовании. SWE-2 Flash работает внутри Devin Desktop и Devin CLI и больше нигде.

• Цена — предельные издержки для Flint ограничиваются вашей видеокартой. SWE-2 Flash предоставляется бесплатно до 30 ноября 2026 года, а расценки за токен после этой даты не опубликованы.

• Контекст — Flint заявляет 262 144 токена с возможностью настройки примерно до 512 тыс. SWE-2 Flash ничего не публикует.

Это не маленькая разница в позиционировании. Одно — это артефакт, который можно изучить, квантовать, дообучить (fine-tune) и запустить на ноутбуке. Другое — продукт с бесплатным месяцем использования.

Единственная строка, которую можно сравнить

Terminal-Bench 2.1 — единственный бенчмарк, результаты которого обе компании опубликовали для одной и той же версии. Показатель Flint (54,9) был получен с помощью Terminus 2 при усреднении метрики pass@1 по меньшей мере по пяти попыткам. Показатель SWE-2 Flash (89,2) был получен на тестовом стенде, название которого Cognition не раскрывает, с настройкой усилия, которую компания не разглашает, в релизном посте, где отсутствует методологическое приложение, присутствовавшее у ее сентябрьского предшественника.

Таким образом, разрыв в 34 пункта реален в том смысле, что оба результата были получены на одном наборе задач, и зыбок в том смысле, что одна сторона рассказала, как она к нему пришла, а другая — нет. Модель, оцененная внутри совместно спроектированного агентированного каркаса (а именно таковым является Devin), как правило, превосходит ту же модель, оцененную через универсальный стенд. Результат Flint более консервативен именно потому, что Recursive опубликовала методологию.

Если выразиться одной фразой: по единственной общей строке SWE-2 Flash далеко впереди, но ни одна из компаний не предоставила независимой стороне возможность это проверить.

Два показателя Pro, которые выглядят одинаково, но таковыми не являются

В этом и заключается ловушка данного сравнения, и здесь стоит сбавить темп. Recursive заявляет для Flint v1.0 результат 89,7 в SWE-bench Pro v2. Cognition заявляет для SWE-2 Flash результат 89,9 в SWE-bench Pro v2 Hard. Два числа с разницей в 0,2 пункта, стоящие рядом в любой сводной таблице, которую вы встретите.

Это не одно и то же измерение. «Hard» — это поднабор, отфильтрованная часть набора задач, а не весь набор целиком. Показатель Flint представляет собой результат полного прогона Pro v2 в мини-агенте mini-swe-agent, где решения, найденные через поиск в веб, засчитываются как сбои, что является более строгим правилом подсчета, чем то, которого придерживается большинство вендоров. Ставить 89.9 рядом с 89.7 и называть это ничьей — это как раз тот тип сравнения, который приводит к уверенным, но неверным выводам.

Та же осторожность применима к строке, которую не разделяет ни одна из таблиц. Flint сообщает о результате 74,2 в SWE-bench Verified. SWE-2 Flash вообще не сообщает результат для Verified — вместо этого она приводит данные для Pro v2 Hard, DeepSWE 1.1 и SWE-Atlas QA. Таким образом, бенчмарк, интуитивно понятный большинству команд, для новой модели недоступен, из-за чего утверждение «Flint отстает в SWE-bench» является ничем не подтвержденным заявлением, а не установленным фактом.

Контекст — спецификация, которая всё решает

В агентском программировании контекстное окно — это не сноска, оно определяет, способна ли модель удерживать всю необходимую структуру репозитория за один шаг планирования или ей приходится скармливать ее по частям. Flint публикует значение в 262 144 токена. SWE-2 Flash ничего не публикует, и спустя три дня освещения в СМИ ни одно издание не смогло это выяснить.

Контекст Flint имеет собственную оговорку. Измерения сообщества показывают падение пропускной способности на длинном контексте: примерно 110 токенов в секунду на коротких промптах снижаются примерно до 9 токенов в секунду ближе к 115 000 токенов. Окно в 262 тыс. токенов, работающее со скоростью 9 тк/с, — это окно, которое вы используете осознанно для единовременного чтения большого объема, а не то, которое вы оставляете открытым на протяжении долгих сессий. Квантование снижает вычислительные затраты, но не меняет эту кривую.

Неопубликованное окно SWE-2 Flash представляет собой большую неизвестную величину, поскольку Devin — это продукт для длинных сессий. Если вы выбираете между ними в предположении, что закрытая модель лучше справляется с большими репозиториями, вы делаете выбор на основе цифры, которую никто не опубликовал.

Скорость, которую можно проверить, против скорости, которую нельзя проверить

Cognition заявляет, что SWE-2 Flash работает со скоростью около 200 токенов в секунду против 60 у SWE-2. Эта цифра получена путем воспроизведения сокращенных стенограмм сессий с симулированной скоростью, а не путем замера времени живой эндпоинт-точки. Это демонстрация, а не измерение, и в настоящее время у сторонних лиц нет возможности проверить это за пределами Cognition.

Заявления Flint о пропускной способности для сравнения выглядят скромнее и гораздо легче фальсифицируются: примерно от 125 до 131 токена в секунду на M4 Pro MacBook Pro и свыше 150 на RTX Spark с 64 ГБ. Они были измерены на оборудовании, которое вы можете купить, людьми, опубликовавшими конфигурацию. Сообщается, что сборка с квантованием NVFP4 отклоняется от BF16 на бенчмарках примерно в пределах 0,7 пункта, и это тот тип заявлений, который сообщество может протестировать и обязательно протестирует.

Один реальный недостаток, о котором стоит знать: путь GGUF имел баг в шаблоне чата (chat-template) в llama.cpp, а у самой модели скромная история использования в сообществе по сравнению с разработками любой крупной лаборатории. Первые пользователи занимаются отладкой самостоятельно.

Во сколько вам на самом деле обойдется каждый вариант

Flint v1.0 бесплатен для скачивания, а затраты ограничиваются расходами на инференс. Модель с 39,8 млрд параметров (2,5 млрд активных) будет работать на хорошо укомплектованном ноутбуке с приемлемой скоростью, в чем и заключается весь смысл архитектуры. Цена внедрения носит операционный характер: вы сами отвечаете за стек обслуживания, выбор квантования и обработку сбоев.

SWE-2 Flash ничего не стоит до 30 ноября 2026 года, а затем будет стоить неизвестную сумму, поскольку компания Cognition опубликовала соотношение — одну пятую от цены SWE-2 — вместо конкретного тарифа. Если для процесса планирования вашей команды нужно число, которое можно вписать в таблицу, именно это станет препятствием, а не разница в бенчмарках.

Ни одна из моделей сегодня не представлена в каталоге OrcaRouter, и мы не будем утверждать обратное. В этом сравнении полезно не перенаправлять запросы между ними двумя, а протестировать окружающие их альтернативы: более 200 моделей доступны по одному ключу OrcaRouter с наценкой 0% к прейскурантной цене провайдера, что позволяет запустить одну и ту же задачу для репозитория на дюжине кандидатов простой заменой одной строки. Когда вы выбираете между двумя моделями, у одной из которых опубликована тестовая обвязка, а у другой нет, ваша собственная оценка стоит дороже таблиц любого из вендоров.

Кому что выбрать

Выбирайте Flint v1.0, если вам нужны веса. Если ваше ограничение — это локализация данных, автономная работа, дообучение или стоимость за токен, которая не зависит от ценовой политики другой компании, разрыв в 34 балла на Terminal-Bench — это плата, которую вы вполне можете быть готовы внести, а контекст на 262K у Flint и опубликованная обвязка дают вам модель, с которой можно работать на уровне логики, а не «черный ящик».

Выбирайте SWE-2 Flash, если вы уже используете Devin, а бесплатного периода достаточно для ответа на ваш вопрос. Это модель с более высокой производительностью по единственной строке, которую измерили обе компании, с большим отрывом, и до конца ноября ее можно попробовать бесплатно.

Чего никому не следует делать, так это выбирать любую из моделей на основе показателей SWE-bench Pro. 89.7 и 89.9 — это не один и тот же тест, и разница между ними меньше, чем разница между любым из этих чисел и тем, что ваш репозиторий выдаст на практике.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Веб-заземление для Decisions API
Perplexity

Веб-заземление для Decisions API

SWE-2 Flash против SWE-2: Чего на самом деле стоит победа с отрывом в 0,2 балла
OrcaRouter

SWE-2 Flash против SWE-2: Чего на самом деле стоит победа с отрывом в 0,2 балла

На тысячу путей к суперпользователю меньше
OpenAI

На тысячу путей к суперпользователю меньше

DevRev представляет автономное самообслуживание на базе GPT-6.1 Sol
OpenAI

DevRev представляет автономное самообслуживание на базе GPT-6.1 Sol

Представляем DETECT-World: первую мировую модель для обнаружения дипфейков
Resemble AI

Представляем DETECT-World: первую мировую модель для обнаружения дипфейков

10 лучших инструментов для обнаружения дипфейков для корпоративной безопасности в 2026 году
Resemble AI

10 лучших инструментов для обнаружения дипфейков для корпоративной безопасности в 2026 году

Ещё от OrcaRouter

SWE-2 Flash против SWE-2: Чего на самом деле стоит победа с отрывом в 0,2 балла
OrcaRouter

SWE-2 Flash против SWE-2: Чего на самом деле стоит победа с отрывом в 0,2 балла

AssemblyAI-TTS-1 против ElevenLabs Eleven v4: что дает в 5,3 раза более низкая цена и во сколько это обходится
OrcaRouter

AssemblyAI-TTS-1 против ElevenLabs Eleven v4: что дает в 5,3 раза более низкая цена и во сколько это обходится

AssemblyAI-TTS-1 по цене $15 за миллион символов: нижняя планка цен для голосовых агентов сдвинулась
OrcaRouter

AssemblyAI-TTS-1 по цене $15 за миллион символов: нижняя планка цен для голосовых агентов сдвинулась

MaxKB добавила оболочечный инструмент к каждому ассистенту с поддержкой инструментов и никогда не закрывала к нему доступ
OrcaRouter

MaxKB добавила оболочечный инструмент к каждому ассистенту с поддержкой инструментов и никогда не закрывала к нему доступ

MaxKB: путь диспетчеризации агентов позволяет пользователю, которому заблокирован инструмент, все равно вызывать его и читать его учетные данные
OrcaRouter

MaxKB: путь диспетчеризации агентов позволяет пользователю, которому заблокирован инструмент, все равно вызывать его и читать его учетные данные

MAI Image 2.7 Preview против Meta Muse Image: две ставки на то, что редактирование — это задача на рассуждение
OrcaRouter

MAI Image 2.7 Preview против Meta Muse Image: две ставки на то, что редактирование — это задача на рассуждение