Основные моменты
- Первая интеграция HIP EP: FastFlow v1.0.13 добавляет HIP EP v0.5.3 в FLM через новый бэкенд oga-hipep.
- Два потока под одной оболочкой: выполнение на NPU и GPU теперь доступно через единый интерфейс командной строки (CLI), локальный API и формат диалога.
- Более быстрый первый токен: при контексте в 16K последняя сборка HIP EP генерирует первый токен примерно на 43% быстрее, чем llama.cpp (Vulkan), а скорость декодирования выше примерно на 7%.
- Три команды для старта: flm pull, flm run и flm serve — это всё, что нужно.
Поток для iGPU на базе HIP EP в FastFlow v1.0.13 является предварительной версией (early access), выпущенной для более широкого использования и сбора отзывов. Функции, производительность и поддерживаемые конфигурации могут изменяться по мере накопления опыта использования. Пожалуйста, делитесь своими отзывами через репозиторий FastFlow.
Сегодня FastFlow делает большой шаг вперед. В версии v1.0.13, выпущенной 13 ноября 2026 года, объединены два потока вывода под одной оболочкой: знакомый разработчикам путь через NPU и новый высокопроизводительный путь через GPU на базе HIP EP. Один общий локальный API и CLI. Еще больше возможностей для запуска ИИ на оборудовании AMD.
FastFlow — это легковесная среда выполнения размером около 17 МБ для систем на базе AMD Ryzen™ AI. Она предлагает CLI с одной командой и сервер, совместимый с OpenAI, благодаря чему существующие инструменты и приложения подключаются без переписывания кода. На NPU Ryzen AI она демонстрирует высокую пропускную способность и энергоэффективность. Теперь к ней присоединяется и GPU.
Знакомство с HIP EP
HIP EP — это среда выполнения ONNX Runtime с открытым исходным кодом, созданная для достижения высокой производительности на графических процессорах AMD. Она компилирует граф ONNX с помощью конвейера MLIR и выполняет его с использованием hipBLASLt и пользовательских ядер HIP. Как отмечено на сайте HIP EP, она поддерживает более 20 архитектур моделей и длину контекста до 128K токенов на сериях Ryzen AI Max, Ryzen AI 400 и Ryzen AI 300. FastFlow теперь предоставляет производительность GPU обычным разработчикам через бэкенд oga-hipep, созданный на базе ONNX Runtime GenAI. Код и релизы доступны в репозитории HIP EP.
Тестирование производительности HIP EP на системе Ryzen™ AI Max (Strix Halo) показывает, что последняя сборка опережает llama.cpp (Vulkan) при контексте 16K. Время до первого токена (TTFT) примерно на 43% ниже, а пропускная способность декодирования (TPS) примерно на 7% выше. В таблице приведены результаты, нормализованные относительно llama.cpp (Vulkan) как 1.00.
Конфигурация
TTFT при 16K (меньше — лучше)
Декодирование TPS при 16K (больше — лучше)
llama.cpp (Vulkan) (базовый уровень)
1.00
1.00
Сборка HIP EP (10.11.2026)
0.57
1.07
Что касается абсолютных чисел, на сайте HIP EP также приводятся показатели пропускной способности декодирования для выбранных моделей на системе Ryzen AI Max (Strix Halo). Эти результаты получены с использованием HIP EP v0.5.3 и промпта на 2048 токенов. Это результаты работы именно HIP EP, а не комплексные результаты FastFlow. Полные данные см. на странице бенчмарков HIP EP.
Модель
Тип входных данных
Декодирование (токенов/с)
Qwen2.5 14B Instruct
Текст
26.10
Qwen3.5 9B
Текст и изображения
38.94
Qwen3.5 35B-A3B
Текст и изображения
67.04
Gemma 3 4B IT
Текст
74.98
GPT-OSS 20B
Текст
85.96
Одна программа, два аппаратных потока
FastFlow сохраняет логику языковых моделей в общем коде. Шаблоны чата, токенизация, сэмплирование и цикл генерации находятся выше границы бэкенда. Независимо от того, работает ли модель на NPU или GPU, разработчики получают одинаковый CLI, одинаковый локальный API и одинаковый формат диалога. Тег модели просто выбирает нужный бэкенд.
Попробуйте сегодня
На поддерживаемой системе Windows 11 с FLM v1.0.13 или более поздней версии три команды позволяют пройти путь от загрузки до запущенной модели на базе GPU. Каталог OGA охватывает 13 моделей OGA из семейств Qwen 2.5, 3.5, 3.6 и 3.8, Gemma 3 и 4, а также GPT-OSS. Модели Qwen 3.5, 3.6 и 3.8 также поддерживают изображения.
В выводе команды flm list модели с суффиксом -oga-hipep: в названии, например qwen3.5-oga-hipep:9b, работают на базе потока HIP EP; pull загружает модель, run открывает чат в терминале, а serve предоставляет доступ к модели через локальный API, совместимый с OpenAI. Первая загрузка модели OGA устанавливает среду выполнения HIP EP, если она еще не установлена. Текущий путь по-прежнему требует наличия поддерживаемого NPU на хосте, даже когда модель выполняется на GPU. В руководстве по установке для Windows и документации по CLI описаны настройка, параметры среды выполнения и примечания к моделям.
Заключение
FastFlow v1.0.13 — это важный рубеж: впервые программное обеспечение работает как на NPU, так и на GPU под одной оболочкой. Новый бэкенд oga-hipep на базе HIP EP v0.5.3 приносит высокопроизводительное выполнение на GPU в интерфейс командной строки и локальный API, которые разработчики уже используют. Общий код обеспечивает согласованность токенизации, сэмплирования и генерации в обоих потоках. Это великолепный шаг для продукта и для всех, кто создает локальный ИИ на оборудовании AMD. Скачайте модель, запустите ее и убедитесь в этом сами.
Этот релиз был бы невозможен без тесного сотрудничества и поддержки команды FastFlow, включая Тао Вэя (Tao Wei). Их партнерство обеспечило успех нового бэкенда.
Ресурсы
- Репозиторий HIP EP
- Руководство по установке FastFlow для Windows











