Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Fastflow teper rabotaet na graficheskih protsessorah amd
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

FastFlow теперь работает на графических процессорах AMD

Источник: AMD•21 ноября 2026 г. в 00:12

FastFlow теперь работает на графических процессорах AMD

FastFlow v1.0.13 добавляет высокопроизводительный поток для GPU на базе HIP EP в дополнение к существующему потоку для NPU.

Основные моменты

  • Первая интеграция HIP EP: FastFlow v1.0.13 добавляет HIP EP v0.5.3 в FLM через новый бэкенд oga-hipep.
  • Два потока под одной оболочкой: выполнение на NPU и GPU теперь доступно через единый интерфейс командной строки (CLI), локальный API и формат диалога.
  • Более быстрый первый токен: при контексте в 16K последняя сборка HIP EP генерирует первый токен примерно на 43% быстрее, чем llama.cpp (Vulkan), а скорость декодирования выше примерно на 7%.
  • Три команды для старта: flm pull, flm run и flm serve — это всё, что нужно.

Поток для iGPU на базе HIP EP в FastFlow v1.0.13 является предварительной версией (early access), выпущенной для более широкого использования и сбора отзывов. Функции, производительность и поддерживаемые конфигурации могут изменяться по мере накопления опыта использования. Пожалуйста, делитесь своими отзывами через репозиторий FastFlow.

Сегодня FastFlow делает большой шаг вперед. В версии v1.0.13, выпущенной 13 ноября 2026 года, объединены два потока вывода под одной оболочкой: знакомый разработчикам путь через NPU и новый высокопроизводительный путь через GPU на базе HIP EP. Один общий локальный API и CLI. Еще больше возможностей для запуска ИИ на оборудовании AMD.

FastFlow — это легковесная среда выполнения размером около 17 МБ для систем на базе AMD Ryzen™ AI. Она предлагает CLI с одной командой и сервер, совместимый с OpenAI, благодаря чему существующие инструменты и приложения подключаются без переписывания кода. На NPU Ryzen AI она демонстрирует высокую пропускную способность и энергоэффективность. Теперь к ней присоединяется и GPU.

Знакомство с HIP EP

HIP EP — это среда выполнения ONNX Runtime с открытым исходным кодом, созданная для достижения высокой производительности на графических процессорах AMD. Она компилирует граф ONNX с помощью конвейера MLIR и выполняет его с использованием hipBLASLt и пользовательских ядер HIP. Как отмечено на сайте HIP EP, она поддерживает более 20 архитектур моделей и длину контекста до 128K токенов на сериях Ryzen AI Max, Ryzen AI 400 и Ryzen AI 300. FastFlow теперь предоставляет производительность GPU обычным разработчикам через бэкенд oga-hipep, созданный на базе ONNX Runtime GenAI. Код и релизы доступны в репозитории HIP EP.

Тестирование производительности HIP EP на системе Ryzen™ AI Max (Strix Halo) показывает, что последняя сборка опережает llama.cpp (Vulkan) при контексте 16K. Время до первого токена (TTFT) примерно на 43% ниже, а пропускная способность декодирования (TPS) примерно на 7% выше. В таблице приведены результаты, нормализованные относительно llama.cpp (Vulkan) как 1.00.

Конфигурация

TTFT при 16K (меньше — лучше)

Декодирование TPS при 16K (больше — лучше)

llama.cpp (Vulkan) (базовый уровень)

1.00

1.00

Сборка HIP EP (10.11.2026)

0.57

1.07

Что касается абсолютных чисел, на сайте HIP EP также приводятся показатели пропускной способности декодирования для выбранных моделей на системе Ryzen AI Max (Strix Halo). Эти результаты получены с использованием HIP EP v0.5.3 и промпта на 2048 токенов. Это результаты работы именно HIP EP, а не комплексные результаты FastFlow. Полные данные см. на странице бенчмарков HIP EP.

Модель

Тип входных данных

Декодирование (токенов/с)

Qwen2.5 14B Instruct

Текст

26.10

Qwen3.5 9B

Текст и изображения

38.94

Qwen3.5 35B-A3B

Текст и изображения

67.04

Gemma 3 4B IT

Текст

74.98

GPT-OSS 20B

Текст

85.96

Одна программа, два аппаратных потока

FastFlow сохраняет логику языковых моделей в общем коде. Шаблоны чата, токенизация, сэмплирование и цикл генерации находятся выше границы бэкенда. Независимо от того, работает ли модель на NPU или GPU, разработчики получают одинаковый CLI, одинаковый локальный API и одинаковый формат диалога. Тег модели просто выбирает нужный бэкенд.

Попробуйте сегодня

На поддерживаемой системе Windows 11 с FLM v1.0.13 или более поздней версии три команды позволяют пройти путь от загрузки до запущенной модели на базе GPU. Каталог OGA охватывает 13 моделей OGA из семейств Qwen 2.5, 3.5, 3.6 и 3.8, Gemma 3 и 4, а также GPT-OSS. Модели Qwen 3.5, 3.6 и 3.8 также поддерживают изображения.

В выводе команды flm list модели с суффиксом -oga-hipep: в названии, например qwen3.5-oga-hipep:9b, работают на базе потока HIP EP; pull загружает модель, run открывает чат в терминале, а serve предоставляет доступ к модели через локальный API, совместимый с OpenAI. Первая загрузка модели OGA устанавливает среду выполнения HIP EP, если она еще не установлена. Текущий путь по-прежнему требует наличия поддерживаемого NPU на хосте, даже когда модель выполняется на GPU. В руководстве по установке для Windows и документации по CLI описаны настройка, параметры среды выполнения и примечания к моделям.

Заключение

FastFlow v1.0.13 — это важный рубеж: впервые программное обеспечение работает как на NPU, так и на GPU под одной оболочкой. Новый бэкенд oga-hipep на базе HIP EP v0.5.3 приносит высокопроизводительное выполнение на GPU в интерфейс командной строки и локальный API, которые разработчики уже используют. Общий код обеспечивает согласованность токенизации, сэмплирования и генерации в обоих потоках. Это великолепный шаг для продукта и для всех, кто создает локальный ИИ на оборудовании AMD. Скачайте модель, запустите ее и убедитесь в этом сами.

Этот релиз был бы невозможен без тесного сотрудничества и поддержки команды FastFlow, включая Тао Вэя (Tao Wei). Их партнерство обеспечило успех нового бэкенда.

Ресурсы

  • Репозиторий HIP EP
  • Руководство по установке FastFlow для Windows
← Все статьи

О чём эта статья

Ещё в разделе «Hardware и электроника»

Все →
Перенос корпоративных знаний в ИИ с помощью Cohere Compass на базе AMD
AMD

Перенос корпоративных знаний в ИИ с помощью Cohere Compass на базе AMD

Когда заканчивается Черная пятница? Даты 2026 и предложения HONOR
HONOR

Когда заканчивается Черная пятница? Даты 2026 и предложения HONOR

Скидки в Черную пятницу 2026: наша подборка HONOR
HONOR

Скидки в Черную пятницу 2026: наша подборка HONOR

Долголетие и биомаркеры здорового старения
Oura

Долголетие и биомаркеры здорового старения

GE HealthCare Foundation объявляет о грантах 2026 года на расширение медицинской помощи матерям и детям в недостаточно обеспеченных сообществах
Ge Healthcare

GE HealthCare Foundation объявляет о грантах 2026 года на расширение медицинской помощи матерям и детям в недостаточно обеспеченных сообществах

Как семь месяцев данных Oura помогли этой паре зачать ребенка
Oura

Как семь месяцев данных Oura помогли этой паре зачать ребенка

Ещё от AMD

Перенос корпоративных знаний в ИИ с помощью Cohere Compass на базе AMD
AMD

Перенос корпоративных знаний в ИИ с помощью Cohere Compass на базе AMD

AMD x Unsloth: Запуск первого в мире NPU для Unsloth Desktop
AMD

AMD x Unsloth: Запуск первого в мире NPU для Unsloth Desktop

AOCL 6.0, оптимизированный для процессоров AMD EPYC
AMD

AOCL 6.0, оптимизированный для процессоров AMD EPYC

Создание классического фундамента для отказоустойчивых квантовых вычислений
AMD

Создание классического фундамента для отказоустойчивых квантовых вычислений

Ускорение исследований в области квантовой коррекции ошибок с помощью Pelagos и AMD
AMD

Ускорение исследований в области квантовой коррекции ошибок с помощью Pelagos и AMD

AMD внедряет агентный ИИ в суперкомпьютерные вычисления с помощью Open-Source AMD HPC Assistant, дебютирующего на LUMI и Frontier
AMD

AMD внедряет агентный ИИ в суперкомпьютерные вычисления с помощью Open-Source AMD HPC Assistant, дебютирующего на LUMI и Frontier