Запуск быстрых и конфиденциальных агентов на устройстве с LFM2.5-24B-A2B

Источник: Hugging Face•

Запуск быстрых и конфиденциальных агентов на устройстве с LFM2.5-24B-A2B

Публикация в блоге Liquid AI на Hugging Face

LFM2.5-24B-A2B — это модель рассуждения с 24 млрд параметров, из которых только 2 млрд являются активными. Она создана для быстрых и приватных агентов, работающих непосредственно на устройстве. Модель «размышляет» перед ответом, вызывает инструменты и выполняет многоэтапные задачи в популярных агентских средах. Поскольку на каждый токен приходится всего 2 млрд активных параметров, генерация каждого токена рассуждения обходится дешево, что позволяет запускать агентов непрерывно на собственном оборудовании.

  • Лучший агент в своем классе: модель конкурентоспособна с Qwen3.6-35B-A3B (которая имеет примерно на 50% больше общих и активных параметров) в задачах агентов и использования инструментов, набирая 48,09 балла в LiveClaw против 38,19.
  • Рассуждение со скоростью MoE: модель всегда «размышляет» перед ответом. Благодаря использованию всего 2 млрд активных параметров на токен, каждый токен рассуждения стоит недорого.
  • Эффективный вывод: 184 токена/с на Apple M5 Max и до 21 тыс. выходных токенов/с на одном графическом процессоре NVIDIA B300.

Как мы создали агент рассуждения с 2 млрд активных параметров

LFM2.5-24B-A2B базируется на LFM2-24B-A2B и сохраняет его архитектуру: 40 слоев, 64 эксперта на блок MoE с маршрутизацией top-4, а также то же сочетание управляемых коротких сверток и GQA. Контекстное окно увеличено с 32 тыс. до 131 тыс. токенов, а расширение токенизатора на месте удваивает словарь с 65 тыс. до 128 тыс. токенов для более качественной токенизации нелатинских символов. В отличие от своего предшественника, это модель исключительно для рассуждений, которая формирует явную цепочку мыслей перед выдачей окончательного ответа.

Предварительное обучение было масштабировано с ~17 трлн до ~33 трлн токенов. Затем в процессе промежуточного обучения было добавлено 2 трлн токенов с контекстом 32 тыс. (с акцентом на рассуждения, математику, код, следование инструкциям и многоязычный текст) и 300 млрд токенов с контекстом 131 тыс. (с акцентом на длинный контекст). Вызовы инструментов и многоходовые траектории присутствуют на обоих этапах. Пост-обучение превращает базовую модель в агента в пять этапов:

  • Контролируемая донастройка (SFT)
  • Специализация учителей
  • Многодоменная дистилляция на основе политик (MOPD), неагентная: дистилляция специализированных учителей на неагентных задачах.
  • MOPD, агентная: второй этап дистилляции, сфокусированный на агентных задачах.
  • Агентное обучение с подкреплением (Agentic RL): обучение модели внутри агентских сред, таких как OpenClaw, Hermes Agent, Pi и OpenCode.

Результаты тестирования

Мы оценили LFM2.5-24B-A2B в сравнении с Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning на 16 бенчмарках, охватывающих использование инструментов, агентские рабочие процессы, знания, следование инструкциям, математику и программирование. Это самая маленькая модель в группе, тем не менее она конкурирует с MoE-моделями, имеющими примерно на 50% больше общих и активных параметров.

*Все модели оценивались с помощью vLLM с использованием рекомендуемых параметров генерации для каждого бенчмарка.

Для вашего приложения сильными сторонами являются использование инструментов и следование инструкциям. LFM2.5-24B-A2B лидирует или не уступает конкурентам в пяти из восьми бенчмарков по использованию инструментов и агентским задачам (AutomationBench, BFCLv4, ToolSandbox, LiveClaw и τ³-Bench Banking), а в AutomationBench она набирает более чем в три раза больше баллов, чем следующая лучшая модель. Она также лидирует во всех трех бенчмарках на следование инструкциям. Более крупные модели сохраняют преимущество в тестах, требующих обширных знаний, таких как GPQA Diamond, HLE и AA-Omniscience, а также в тестах по программированию, таких как SWE-Bench Verified (OpenCode) и SciCode, поэтому для задач, требующих глубоких знаний, сочетайте LFM2.5-24B-A2B с поиском или веб-поиском.

Эти результаты делают LFM2.5-24B-A2B мощной основой для агентов, которым необходимо рассуждать, вызывать инструменты и надежно работать на вашем устройстве.

Скорость вывода на CPU и GPU

LFM2.5-24B-A2B поставляется с поддержкой экосистемы вывода с первого дня, включая llama.cpp, MLX, vLLM, SGLang и ONNX.

Вывод на периферийных устройствах. LFM2.5-24B-A2B — самая быстрая из сравниваемых MoE-моделей, декодирующая 184 токена/с на M5 Max и 114 токенов/с на Ryzen AI Max+ 395. Это до 1,7 раза быстрее, чем у следующей лучшей модели, при минимальном потреблении памяти.

Вывод на GPU. LFM2.5-24B-A2B — самая быстрая модель в своем классе размеров, достигающая более 21 тыс. выходных токенов в секунду при высокой параллельности на одном B300.

Как использовать LFM2.5-24B-A2B

Выбирайте LFM2.5-24B-A2B, когда вам нужны агенты, которые рассуждают, вызывают инструменты и надежно работают на вашем устройстве.

Установите последнюю версию transformers (совместимую с transformers>=5.0.0):

Затем загрузите и запустите модель:

Используйте ее в своей агентской среде

Разверните LFM2.5-24B-A2B локально за любым бэкендом, совместимым с OpenAI, а затем направьте на него свою агентскую среду. Например, с Hermes Agent:

Порт зависит от вашего бэкенда развертывания: llama.cpp и MLX используют 8080, vLLM использует 8000, SGLang использует 30000, а LM Studio использует 1234. См. карточку модели для конфигураций OpenClaw и Pi, а также наше руководство для полной настройки. Ознакомьтесь с нашим релизным блогом для просмотра видеопримеров.

Начало работы с LFM2.5-24B-A2B

И LFM2.5-24B-A2B, и LFM2.5-24B-A2B-Base имеют открытые веса и доступны на Hugging Face уже сегодня:

  • Скачать: LFM2.5-24B-A2B-Base и LFM2.5-24B-A2B на Hugging Face.
  • Использовать в своей среде: следуйте нашим инструкциям по запуску локального агента, такого как OpenClaw, Hermes Agent и Pi.
  • Донастройка: адаптируйте LFM2.5-24B-A2B под свою задачу с помощью наших руководств по донастройке.

Нам не терпится увидеть, что вы создадите.

Цитирование

Если вы используете эту работу, пожалуйста, сошлитесь на релизный блог:

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →

Ещё от Hugging Face