Сегодня мы расширяем семейство Bonsai 2 тремя новыми тернарными моделями на базе Qwen3.5: Ternary Bonsai 2 2B, 4B и 9B. Присоединяясь к Bonsai 2 27B, они обеспечивают более широкие возможности при меньших требованиях к развертыванию и дают разработчикам больше выбора для создания ИИ-приложений, работающих локально на устройствах.

Основываясь на первом поколении Bonsai 1.7B, 4B и 8B, новые модели сочетают в себе улучшенное логическое мышление, визуальное понимание и поддержку рабочих процессов, управляемых инструментами. Семейство теперь охватывает четыре размера, что позволяет разработчикам находить баланс между сложностью задач, временем отклика и требованиями к памяти.

В новых моделях используется тернарное представление, которое кодирует веса с помощью трех значений: {−1, 0, +1}. Модели 2B, 4B и 9B имеют объем 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно, что более чем в 9 раз меньше, чем у их полноразрядных аналогов.

Локальные агенты должны быть достаточно умными, чтобы принимать полезные решения, работая в условиях ограниченной памяти и энергопотребления. Этот выпуск совершенствует оба этих аспекта: возможности логического вывода, визуального восприятия и использования инструментов, а также компактные модели, которые работают локально на персональных компьютерах, телефонах и носимых устройствах.

Широкие возможности при малых размерах

В этом выпуске мы сосредоточились на нескольких практических аспектах, которые делают небольшие модели полезными: предотвращение повторов, следование инструкциям, вызов инструментов на мобильных устройствах и контроль многословности. Наши тернарные модели на базе Qwen3.5 2B, 4B и 9B значительно уменьшают объем памяти, занимаемый на телефонах и периферийных устройствах, где ресурсы памяти и вычислений ограничены.

Эти ограничения определили наши приоритеты в разработке. Мы сосредоточились на том, чтобы помочь моделям следовать инструкциям, выполнять повседневные задачи и давать полезные ответы без лишнего вывода. Для локального использования в качестве помощника модель 9B использует примерно на 40% меньше токенов при выполнении стандартных задач по следованию инструкциям и повседневной математике. Цель — практическая польза в компактном исполнении. Решение гипотезы Римана может подождать.

Для справки, мы оценили новые модели с помощью набора из 19 бенчмарков, охватывающих 6 навыков: использование агентских инструментов, математика, следование инструкциям, программирование, знания и логика, а также визуальное восприятие.

В таблице ниже представлены результаты 19 бенчмарков для каждой модели Bonsai 2 наряду с соответствующими полноразрядными базовыми моделями Qwen3.5. Для удобства мы также обобщили показатели удержания для каждого из 6 наборов навыков.

Рисунок I: Результаты бенчмарков для Bonsai 2 и соответствующих полноразрядных моделей.

Демо I: HybridAI для редактирования конфиденциальных данных на базе Bonsai 2 9B на M5 Macbook Pro

Пропускная способность и энергоэффективность

Для локального ИИ качество модели, скорость вывода и энергопотребление совместно определяют опыт, который может предоставить разработчик. Агенты могут переключаться между интерпретацией информации, выбором инструментов и генерацией ответов, что делает производительность вывода важной на нескольких этапах рабочего процесса.

На таком оборудовании, как RTX 4090 и M5 Pro, модели Bonsai 2 обеспечивают до 5 раз большую пропускную способность и в 3 раза большую энергоэффективность по сравнению с их полноразрядными аналогами. На M5 Max Pro модель Bonsai 2 9B достигает до 179 токенов/с, а Bonsai 2 2B — до 310 токенов/с.

Демо II: Мультимодальные агентские сценарии использования на базе Bonsai 2 9B на iPhone 18 Pro Max

Их компактный размер также идеально подходит для мобильного развертывания. На iPhone 18 Pro Max модель Bonsai 2 9B выдает до 34 токенов в секунду, а Bonsai 2 2B — до 120 токенов в секунду.

Рисунок II: Пропускная способность в токенах/секунду для моделей 9B, 4B и 2B

Эти улучшения помогают сделать более насыщенное взаимодействие практичным на устройствах с питанием от аккумулятора. Более быстрый вывод сокращает время, затрачиваемое на генерацию ответов и вызовы инструментов; более низкое энергопотребление поддерживает более частое использование в рамках того же бюджета мощности.

Делая интеллект повсеместным

На саммите Snapdragon в сентябре мы продемонстрировали 1-битную визуально-языковую модель Bonsai, работающую локально на умных очках с ИИ на базе платформы Snapdragon AR1 Gen 1. Построенная на первом поколении Bonsai, модель показала, как визуальное понимание и помощь могут работать в рамках ограничений памяти и мощности носимого оборудования.

Новые модели Bonsai 2 развивают этот прогресс благодаря более сильным возможностям логического вывода, визуального понимания и вызова инструментов. Эти возможности создают основу для внедрения базовой агентской функциональности в будущие приложения на телефонах, умных очках и других носимых устройствах.

Разработчики могут создавать помощников, которые интерпретируют запрос пользователя, рассуждают на основе текстового или визуального контекста и используют инструменты приложений для выполнения коротких последовательностей действий. Рабочий процесс может заключаться в извлечении информации из документа и передаче ее в приложение или объединении информации из локальных файлов с инструментом, который помогает пользователю выполнить задачу.

Расширенное семейство Bonsai 2 предоставляет больше выбора в этом диапазоне: от компактных моделей для узкоспециализированных задач до более крупных моделей для более требовательных рабочих процессов.

Поддержка платформ

Ternary Bonsai 2 2B, 4B и 9B работают на графических процессорах NVIDIA через llama.cpp и на устройствах Apple (Mac, iPhone, iPad) через MLX. Вы можете попробовать Bonsai 2 9B на Darkbloom уже сегодня по адресу console.darkbloom.dev. Первые 100 пользователей также получат 250 миллионов бесплатных токенов.

Веса моделей доступны сегодня по лицензии Apache 2.0.

Полная техническая информация о наших процессах сжатия, оценки и тестирования доступна в нашем техническом отчете.

Работа с нами

Мы работаем с командами над адаптацией моделей Bonsai к их приложениям, от дообучения на специфических для домена данных до оптимизации вывода под целевое оборудование. Если вы создаете ИИ-продукты с жесткими требованиями к памяти, задержке или энергопотреблению, мы будем рады обсудить, как Bonsai может помочь. Свяжитесь с нами по адресу contact@prismml.com.

Присоединяйтесь к нам

Prism выросла из команды исследователей Caltech и была основана при поддержке Khosla Ventures, Cerberus и Google, при постоянной поддержке со стороны Samsung. Мы потратили годы на решение одной из самых сложных проблем в этой области: сжатие нейронных сетей без ущерба для их способности к логическому мышлению.

Если вы хотите помочь в создании следующего поколения передового ИИ, мы будем рады услышать вас. Посетите нашу страницу вакансий.