Сегодня мы выпускаем экспериментальную черновую модель DSpark для нашей зрительно-языковой модели (VLM) LFM2.5-VL-3B. Как и в случае с недавно выпущенными моделями-черновиками LFM2.5-DSpark, она добавляет путь спекулятивного декодирования, который обеспечивает значительное ускорение за счет минимального увеличения объема памяти без изменения качества вывода.
- Более быстрая генерация: ускорение декодирования до 3,13x на устройстве и до 2,66x на H100, при этом сквозной прирост производительности составляет до 2,62x и 2,27x.
- Небольшие затраты памяти: черновик добавляет 280 млн параметров, что составляет 8,9% поверх целевой модели на 3B
- Поддержка с первого дня: интеграции DSpark с поддержкой LFM для llama.cpp, MLX-VLM и SGLang
Как работает спекулятивное декодирование для VLM
Зрительный черновик использует ту же архитектуру, что и наши текстовые черновики LFM2.5-DSpark: он перехватывает скрытые состояния целевой модели на фиксированном наборе соединенных слоев и использует их в качестве основы для генерации блока из k токенов-кандидатов. Изображения и текстовые токены проецируются в общее представление до этих слоев, поэтому черновик работает с векторами скрытых состояний одинаковой размерности независимо от модальности ввода. Таким образом, алгоритм инференса не отличается от текстовых моделей.
Обучение и архитектура
Мы следуем рецепту DSpark, используя смесь данных SFT для зрительно-языковых задач с упором на рабочие нагрузки, которые модель должна обслуживать. На основе экспериментов по вырезанию (ablations) для 3, 4 и 5 слоев модель-черновик представляет собой упрощенный черновик только с механизмом внимания, состоящий из 4 слоев и с размером блока 9. Мы провели 10 эпох на финальной смеси и измеряли процент принятых токенов после каждой из них; этот показатель улучшался с ростом числа обучающих токенов до тех пор, пока не наступил эффект убывающей отдачи. На этапе инференса мы рекомендуем использовать размер блока 8 или 9 в зависимости от оборудования.
Полученный черновик содержит примерно 280 млн параметров и увеличивает количество параметров развертываемой модели всего на 8,9%.
Ускорение инференса на CPU и GPU
Черновая модель DSpark для LFM2.5-VL-3B поставляется с поддержкой «из коробки» для llama.cpp, MLX-VLM и SGLang.
Мы измеряем инференс как на самом устройстве, так и на GPU. Обе конфигурации используют размер блока DSpark, равный 8, и оцениваются на шести различных задачах компьютерного зрения, включая общий VQA, текстовый VQA, описание изображений, VQA по графикам, сложные рассуждения и многодиалоговые беседы, в соответствии с бенчмарком MMSpec.
Инференс на устройстве. При использовании MLX на M5 Max декодирование выполняется в 2,30–3,13 раза быстрее в зависимости от задачи. Сквозная задержка улучшается в 1,56–2,62 раза. При использовании llama.cpp на M3 Ultra декодирование ускоряется в 1,57–2,14 раза, а сквозные показатели — в 1,30–1,77 раза.
Инференс на GPU. На H100 этот же черновик обеспечивает ускорение декодирования в 2,04–2,66 раза со сквозным улучшением в 1,64–2,27 раза.
Ограничения спекулятивного подхода для зрительных задач
В LLM предварительное заполнение (префилл) в основном ограничено производительностью вычислений, и его стоимость растет (суб)квадратично с длиной промпта. VLM добавляют к этому сложность, поскольку изображение сначала проходит через визуальный кодировщик, а затем языковая основа обрабатывает сотни визуальных токенов вместе с текстовым промптом. Периферийные устройства обладают гораздо меньшей вычислительной мощностью, чем датацентровые GPU, поэтому префилл занимает большую часть сквозной задержки, что видно по измерениям времени до первого токена и декодирования на чипах Apple Silicon и H100 (нейронные ускорители GPU на каждом ядре M5 сглаживают этот разрыв).
Спекулятивное декодирование ускоряет только процесс генерации (декодирования), а не кодирование изображений или предварительное заполнение. Когда эти этапы уже занимают значительную часть времени выполнения, даже сильное ускорение декодирования дает лишь умеренный сквозной прирост. Это закон Амдала, согласно которому общее ускорение ограничено той частью рабочей нагрузки, которая не ускоряется.
Как использовать LFM2.5-VL-DSpark
Запуск черновых моделей DSpark с помощью SGLang требует сборки SGLang с поддержкой DSpark для целей LFM2 (PR #40651). Запустите целевую модель с прикрепленным черновиком:
Затем отправьте запрос к совместимому с OpenAI эндпоинту по адресу http://localhost:30000/v1. Размер блока считывается из файла config.json черновика; базовый вариант запуска представляет собой ту же команду без трех флагов --speculative-*.
Для их запуска с помощью llama.cpp требуется соответствующая сборка llama.cpp (PR#29339).
Для их запуска с помощью MLX-VLM требуется соответствующая сборка (PR#2280).
Размер блока считывается из метаданных sidecar (параметр n-max ограничивается им). Спекулятивное декодирование является точным: целевая модель проверяет каждый предложенный токен, поэтому жадный вывод эквивалентен результату работы одной лишь целевой модели; в таймингах для каждого ответа указываются параметры draft_n / draft_n_accepted.
Начало работы
Наша зрительная модель-черновик DSpark доступна на Hugging Face в форматах Safetensors и GGUF.
С выходом LFM2.5 мы воплощаем в жизнь наше видение ИИ, который работает везде. Эти модели:
- С открытыми весами — скачивайте, дообучайте и развертывайте без ограничений.
- Быстрые с первого дня — поддержка «из коробки» для llama.cpp, MLX и SGLang.
- Целое семейство — от базовых моделей для кастомизации до специализированных аудио- и визуальных вариантов, объединенных единой архитектурой для самых разных сценариев использования
Нам не терпится увидеть, что вы создадите.
Цитирование
Для цитирования используйте следующую ссылку или BibTeX: Liquid AI, "LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond", Liquid AI Blog, Sep 2026.
