LFM3 — это наше новое поколение базовых моделей Liquid Foundation Models (LFMs), созданных в качестве отправной точки для специализированного интеллекта. Они объединяют модели текста, зрения, аудио, омниканальные модели и модели принятия решений в рамках единого общего бэкбона, и все это в диапазоне параметров 2B. Это означает, что вы можете выбрать модель под свою модальность, дообучить ее на собственных данных на одном GPU и развернуть там, где работает ваше приложение.

LFM3 приносит четыре основных изменения по сравнению с нашим предыдущим семейством LFM2:

Больше возможностей на один параметр: новая тригибридная архитектура и методика обучения позволяют LFM3-1.7B превосходить LFM2.5-2.6B, используя при этом на 35% меньше параметров.
Каждая модальность на едином бэкбоне: шесть моделей класса 2B (текст, зрение, аудио, омниканальные и принятие решений), обученных на базе LFM3-1.7B-Base, включая нашу первую омниканальную модель и поддержку видеовхода для нашей визуальной модели.
Создано для периферийных устройств (edge): текстовая модель помещается примерно в 1 ГБ при 4-битной точности, новые собственные кодеры зрения и аудио ускоряют обработку, а 256K контекстное окно текстовой модели позволяет агентам работать непосредственно на устройстве.
Создано для специализации: каждая модель дообучается на одном GPU, поэтому вы можете адаптировать ее под свои данные, терминологию и среду развертывания.

Как мы создали более выразительный бэкбон

LFM2 показала, что гибрид коротких свёрток и внимания может работать быстро на устройстве без ущерба для качества. Для LFM3 мы использовали наш поиск архитектуры с обратной связью по оборудованию (hardware-in-the-loop), чтобы переработать эту архитектуру для агентских сценариев использования, которым требуется больше возможностей на параметр и быстрый вывод на длинных контекстах. Поиск теперь охватывает 14 комбинаций устройств и бэкендов, от смартфонов и Raspberry Pi 5 до ноутбуков, облачных процессоров, GPU и Qualcomm Hexagon NPU.

LFM3-1.7B-Base имеет 24 слоя и четыре основных изменения:

Тригибридный набор слоев: 13 шлюзованных коротких свёрток, 5 слоев внимания со скользящим окном (SWA) с окном в 256 токенов и 6 слоев глобального внимания. Свёртки используют размер ядра 7 по сравнению с 3 в LFM2.
Шлюзованное внимание на уровне голов: сигмоидный шлюз масштабирует выходные данные каждой головы, поэтому голова может отключаться, когда ей нечего добавить. Это помогает подавлять выбросы активации, которые вредят квантованию.
Частичное RoPE: слои глобального внимания вращают только половину каждой головы с наибольшей частотой, поэтому другая половина совпадает по содержимому независимо от расстояния. Слои SWA сохраняют полное RoPE.
Сэндвич-нормализация: каждый блок нормализует как свои входные, так и выходные данные, чтобы поддерживать хороший масштаб активаций.

Результат проявляется на длинном контексте. В расчете на один параметр LFM3-1.7B соответствует LFM2-1.2B на коротких промптах на периферийных устройствах, а с 8K токенами в контексте он примерно на 25% быстрее. LFM3-1.7B-Base была предварительно обучена на 22 трлн токенов с тем же словарем на 128K, что и LFM2.5-8B-A1B. Последние 3,5 трлн токенов представляют собой этап промежуточного обучения на отфильтрованных данных с большей долей агентских трейсов и вызовов инструментов, что также расширяет контекстное окно до 256K токенов.

Один бэкбон для шести моделей

Каждая модель LFM3 ответвляется от LFM3-1.7B-Base. Вместо запуска одной большой модели общего назначения вы выбираете ту, которая соответствует вашим входным данным, настраиваете ее и запускаете на устройстве.

Модели зрения и аудио также получили два новых собственных кодера:

Кодер зрения: он объединяет свёртку и внимание и использует в 3 раза меньше вычислений, чем кодер SigLIP2 в предыдущих визуально-языковых моделях LFM. Наш кодер с 164M параметрами соответствует по точности кодеру зрения Qwen3.5-2B, требуя при этом в 2,2 раза меньше FLOP (оба измерены с одинаковым языковым бэкбоном LFM2.5-230M). Для видео он встраивает каждую пару сэмплированных кадров во временной срез, вдвое сокращая длину временной последовательности.
Аудиокодер и LiquidCodec: аудиокодер объединяет внимание со скользящим окном и короткие свёртки и является полностью причинным, поэтому модель может выполнять предварительное заполнение (prefill), пока вы говорите, при времени до первого токена всего от 50 мс. LiquidCodec, наш новый аудиотокенайзер, превращает сгенерированные токены в речь примерно со скоростью x87 от реального времени на одном потоке CPU на Apple M4 Max и поддерживает потоковое декодирование.

Как использовать модели LFM3

Каждая модель работает в transformers. Ниже приведены фрагменты из карточек моделей, где также перечислены другие движки вывода, поддерживаемые каждой моделью.

LFM3-1.7B

Выбирайте LFM3-1.7B, когда вам нужны локальные агенты, вызовы инструментов, структурированные выводы или база для доменно-специфичного дообучения. Модель прошла постобучение для работы в таких агентских обвязках (agentic harnesses), как Hermes Agent, Pi и OpenClaw. Она превосходит своего предшественника LFM2.5-2.6B при сокращении параметров на 35%, причем наибольший прирост наблюдается на агентских задачах: в WebArena-Verified она набирает 38,42 против 3,02 и даже превосходит Qwen3.5-9B на долгих задачах в браузере и бизнес-приложениях. Более подробную информацию можно найти в карточке модели LFM3-1.7B.

Для запуска LFM3-1.7B установите последнюю версию transformers:

Затем загрузите и запустите модель:

Инструкции по настройке локальных агентов см. в руководстве по агентским обвязкам.

LFM3-VL-2B

Выбирайте LFM3-VL-2B, когда вам нужно визуальное понимание на устройстве. Это первая визуальная модель LFM, которая принимает видео в качестве входа; она рассуждает шаг за шагом перед откликом, а также находит объекты и анализирует их расположение, что является прочным фундаментом для робототехники. По сравнению с LFM2.5-VL-3B она имеет меньше параметров (1,9 млрд против 3,1 млрд), но при этом повышает средний показатель по 62 бенчмаркам зрения с 57,6 до 71.4, что находится на одном уровне с Gemma 4 12B — моделью, которая более чем в шесть раз крупнее. Более подробную информацию можно найти в карточке модели LFM3-VL-2B.

Для запуска LFM3-VL-2B установите transformers>=5.21.0 с зависимостями для работы с изображениями:

Затем загрузите и запустите модель:

О вызовах инструментов, поиске инструментов и выводе на устройстве с помощью llama.cpp читайте в карточке модели LFM3-VL-2B.

LFM3-Audio-2B

Выбирайте LFM3-Audio-2B, когда вам нужны голосовой чат, распознавание речи, синтез речи или перевод на 18 языков на ноутбуке или периферийном устройстве. Модель принимает текст или аудио на вход и отвечает текстом, речью или тем и другим, а также может превращать голосовые запросы в вызовы инструментов. По сравнению с LFM2.5-Audio-1.5B она использует новый собственный аудиокодер и речевой кодек, говорит с более высоким качеством (UTMOSv2 3.83 против 3.22) и добавляет понимание аудио, аудиорассуждения общего назначения и вызовы инструментов. Более подробную информацию можно найти в карточке модели LFM3-Audio-2B.

Для запуска LFM3-Audio-2B установите transformers>=5.20.2 с зависимостями для работы с аудио:

Загрузите модель и процессор напрямую из репозитория Hugging Face Hub:

Затем задайте вопрос вслух и получите ответ в текстовом и голосовом виде:

Информацию о распознавании речи в реальном времени, синтезе речи, понимании аудио и вызовах инструментов см. в карточке модели LFM3-Audio-2B.

LFM3-Omni-2B

Обратитесь к LFM3-Omni-2B, когда вам нужна одна модель на устройстве, которая видит, слушает и отвечает взаимностью, вместо отдельной модели ASR, модели «зрение-язык», LLM и модели TTS. Она может отвечать на устные вопросы об изображении, одновременно смотреть и слушать видео, а также превращать увиденное и услышанное в вызовы инструментов. Это наша первая омниканальная модель с вводом текста, изображений и звука, а также выводом текста и речи. Она сохраняет основные возможности автономных моделей LFM3, включая визуальные ответы на вопросы, распознавание речи, синтез речи и следование инструкциям. Как и LFM3-Audio-2B, она говорит через LiquidCodec, который преобразует сгенерированные токены в речь быстрее реального времени, поэтому устные ответы передаются по потоку по мере их генерации моделью. В задачах аудиовизуального понимания видео она превосходит модели с параметрами до 10,7 млрд, такие как Qwen2.5-Omni-7B, в бенчмарках Daily-Omni, WorldSense и AV-SpeakerBench. Более подробную информацию можно найти в карточке модели LFM3-Omni-2B.

Чтобы запустить LFM3-Omni-2B, установите transformers>=5.20.2 с зависимостями для работы с изображениями и звуком:

Затем задайте вопрос о фотографии голосом:

Ознакомьтесь с карточкой модели LFM3-Omni-2B для получения информации о выводе речи, видео со звуковой дорожкой и вызове инструментов.

d1-2B и d1-omni-2B

Выбирайте модели d1, когда вам нужны быстрые, структурированные решения вместо сгенерированного текста. Передайте им ситуацию (тикет техподдержки, счет, экран приложения, фотографию, голосовую заметку) и список вопросов, и они ответят на все из них за один проход, причем каждый ответ будет сопровождаться откалиброванной вероятностью. Помимо ответов да/нет, вариантов выбора и оценок, они теперь могут указывать на объекты, считывать значения из документов, оценивать числа в заданном диапазоне и выбирать все применимые варианты. Более подробную информацию можно найти в карточках моделей для d1-2B и d1-omni-2B.

Выбор между двумя моделями d1:

d1-2B: выбирайте ее для текста, изображений и видео. Она заменяет d1-3B, имея на треть меньше параметров и показывая более высокие результаты во всех четырех наших наборах тестов для принятия решений, например 75,5 против 64,0 на ImajevBench.
d1-omni-2B: выбирайте ее, когда ваши входные данные включают аудио. Если вы задаете вопрос голосом, а не в письменном виде, модель сохраняет практически всю свою точность.

Чтобы запустить d1-2B, установите transformers>=5.19 с зависимостями для работы с изображениями:

Затем загрузите d1-2B и задайте ей несколько вопросов об одном тикете техподдержки за один проход:

Для краткости мы приводим пример только для d1-2B. Карточку модели d1-omni-2B с аудиоклипами и устными вопросами можно посмотреть в соответствующем разделе.

Дообучение LFM3 под вашу задачу

LFM3 создана для специализации. Фронтирные модели являются мощными универсалами, но они не обязательно являются экспертами в вашем конкретном случае использования. LFM3 упаковывает дополнительную емкость в небольшую и быструю модель, поэтому короткое дообучение может превратить ее в надежного эксперта по вашей задаче с вашими данными, терминологией и инструментами. Поскольку модель компактна, вы можете развернуть дообученную модель там, где работает ваше приложение: от устройств и частной инфраструктуры до облака.

Каждую модель можно дообучить на одном GPU, а эти ноутбуки проведут вас через весь процесс решения задачи для текстовых, визуальных, аудио- и омниканальных моделей — от подготовки данных до оценки.

Пример: обучение LFM3 действиям

Мы адаптируем LFM3-VL-2B в три взаимодополняющие робототехнические модели для оркестрации, навигации и манипуляций. Оркестратор управляет роборукой с помощью вызовов инструментов: он позиционирует объекты путем указания, измеряет их с помощью инструментов определения глубины, вызывает планировщики движения и проверяет результаты на последующих кадрах с камеры. Навигатор следует описаниям маршрута, используя свежие RGB-наблюдения, предсказывая пространственные цели и траекторию путевых точек всего за пять токенов. Модель манипуляций VLA сопоставляет изображения, язык и состояние робота с восьмишаговыми фрагментами непрерывных действий за один проход. Пройдя совместное обучение на 15 различных типах роботов, VLA достигает 96,2% среднего успеха на четырех наборах тестов LIBERO и 45.7% на настольных задачах RoboCasa-GR1, генерируя фрагменты действий менее чем за 50 мс на Jetson AGX Orin с TensorRT FP16. Эти результаты подчеркивают, что LFM3-VL-2B является компактной основой для робототехники, охватывающей как планирование высокого уровня, так и низкоуровневое управление с генерацией действий в реальном времени на встроенном оборудовании.

Посмотрите, как LFM3-VL-2B справляется с восприятием, навигацией и манипуляциями в этом демонстрационном видео.

Начало работы с LFM3

Все модели LFM3 имеют открытые веса и уже доступны на Hugging Face:

Скачать: коллекция LFM3 на Hugging Face, включая LFM3-1.7B-Base для вашего собственного посттренинга.
Дообучить: адаптируйте LFM3 под свою задачу с помощью наших ноутбуков для дообучения.
Использовать в своей связке: следуйте нашим инструкциям по запуску локального агента, таких как OpenClaw, Hermes Agent и Pi.

Мы с нетерпением ждем возможности увидеть, что вы создадите.