Начиная с сегодняшнего дня, начальная версия FLUX 3 Video для генерации из текста и изображений стала общедоступной через BFL API и у избранных партнеров. Модель создает ролики длительностью до 20 секунд в HD-разрешении, с возможностью вывода в Full HD через апскейлинг и нативным аудио, создаваемым одновременно с видео.
FLUX 3 — это наша передовая мультимодальная модель для генерации и прогнозирования видео, аудио, изображений и действий. С этим релизом ее возможности генерации видео впервые становятся общедоступными. Подробности о FLUX 3 можно найти здесь.
Видеомодели должны быть моделями реальности.
Реальность по своей сути мультимодальна, но каждое моментальное представление (например, изображение, видео, звук) фиксирует лишь ее фрагмент. Ни один фрагмент не является полным сам по себе. Именно поэтому FLUX 3 — модель, разработанная для максимально точного моделирования реальности, — является нативно мультимодальной и спроектирована так, чтобы моделировать реальность, не сводя ее к какому-то конкретному однородному подмножеству или стилю. Результатом являются видео, которые не ограничиваются кинематографической эстетикой, а могут выглядеть «сырыми», естественными, игривыми, ностальгическими или странными.
Это делает FLUX 3 гибкой и управляемой моделью для создания контента. FLUX 3 способна обрабатывать как простые, так и сложные промпты с глубоким пониманием мира. Она может переключаться между сценами и ракурсами камеры в рамках одной генерации, отрисовывать типографику как естественную часть сцены и генерировать диалоги на нескольких языках с естественными акцентами и синхронизацией губ. Одна и та же модель может создавать что-то личное и естественное, высокостилизованное и кинематографичное или просто развлекательное и веселое.
FLUX 3 Video — возможности генерации
Мы делаем FLUX 3 Video доступной для широкой аудитории уже сегодня. В своей начальной форме FLUX 3 Video может создавать видеоролики длительностью до 20 секунд с нативным аудио. Мы выпускаем нашу модель в разрешениях HD (720p) и Full HD (1080p) и сегодня предоставляем следующий набор возможностей:
- Текст в видео (Text-to-Video): Опишите сцену простым языком или с помощью подробного промпта. FLUX 3 следует сложным инструкциям, генерируя естественные движения, логику сцены и аудио.
- Изображение в видео и ключевые кадры (Image-to-Video and Keyframes): Начните с изображения, укажите конечный кадр или задайте несколько ключевых кадров в ролике. FLUX 3 Video связывает их в последовательность, следуя задуманному визуальному языку.
- Продолжение видео (Video Continuation): Предоставьте FLUX 3 Video до четырех секунд существующего видео и аудио и укажите, что должно произойти дальше. Модель учитывает оба компонента, чтобы продолжить движение, поведение камеры, диалог и аудио через стык видео.
- Создание нескольких планов (Creating Multiple Shots): Создавайте несколько сцен и ракурсов камеры в рамках одного видео, сохраняя связность последовательности.
- Аудио и диалоги (Audio and Dialogue): Генерируйте диалоги, звуковые эффекты и фоновые звуки вместе с отдельными кадрами.
- Мультиязычность (Multi-Linguality): FLUX 3 Video создана как мощный инструмент для людей разных национальностей и языков. Поддерживаемые языки включают английский (различные диалекты), китайский, испанский, французский, немецкий, японский, португальский, русский, итальянский, индонезийский, турецкий, хинди, панджаби и другие, с точной синхронизацией губ.
- Знание мира и привязка к контексту (World Knowledge and Grounding): FLUX 3 Video сочетает знания о мире, полученные при предварительном обучении, с привязкой к реальности в реальном времени, что делает ее мощным инструментом для документальных фильмов и короткого образовательного контента, даже на основе всего нескольких слов в коротком промпте.
Черновой режим (Draft Mode): Позволяет легко исследовать творческие направления. Черновая генерация возвращает быстрый предварительный просмотр вашего промпта за малую часть стоимости, поэтому вы можете итерировать идеи, вместо того чтобы каждый раз ждать полноценной высококачественной генерации. Когда черновик вас устраивает, FLUX 3 отрисовывает видео в полном качестве. Он включает те же объекты, ту же композицию и то же движение, поэтому финальный результат соответствует версии, которую вы одобрили.
FLUX 3 Video обеспечивает передовой опыт работы с видео (SOTA)
FLUX 3 Video предоставляет возможности уровня SOTA как в генерации текста в видео, так и изображения в видео. Мы провели обширную оценку нашей выпущенной модели в сравнении с существующими передовыми моделями. С момента нашего первоначального анонса возможности FLUX 3 в области видео значительно продвинулись. Оценщики-люди признали ее предпочтительной моделью как для генерации текста в видео, так и изображения в видео.
В нашей внутренней оценке FLUX 3 значительно превосходит существующие SOTA-модели в генерации текста в видео. Она идет наравне с Seedance 2.0 и превосходит все остальные существующие SOTA-модели в генерации изображения в видео.
Ответственная разработка и обеспечение безопасности (Responsible development and deployment Assurance)
Мы привержены ответственной разработке и внедрению моделей ИИ и применяем многоуровневые меры по смягчению рисков до, во время и после выпуска, чтобы бороться с риском злоупотребления. Работая с доверенными сторонними партнерами, Cinder, мы оценили FLUX 3 Video на предмет ряда рисков перед выпуском, чтобы подтвердить эффективность наших мер по всему спектру поддерживаемых модальностей, включая неконсенсуальные интимные изображения (NCII) и материалы с сексуальным насилием над детьми (CSAM).
Что дальше
Наши следующие релизы расширят возможности FLUX 3 Video для улучшения управляемости и добавят поддержку новых модальностей. Мы обеспечим генерацию видео на основе комбинаций ссылок на изображения, видео и аудио. Наша дорожная карта также включает FLUX 3 Image для генерации и редактирования изображений, а также FLUX 3 Dev в качестве варианта с открытыми весами.
Создавайте с помощью FLUX 3.
FLUX 3 Video доступна прямо сейчас через BFL API и у избранных партнеров. Мы с нетерпением ждем того, что вы создадите.
Узнайте больше о FLUX 3 → https://bfl.ai/models/flux-3 Документация здесь → https://docs.bfl.ai/flux_3