Создание истории YUI с помощью 852話 Hakoniwa и Comfy Agent

Девочка, таймер и стена.

YUI — это первый короткометражный анимационный фильм, созданный с помощью Comfy Agent известным AI-аниматором 852話 Hakoniwa. Эта история давно жила в мыслях Hakoniwa, с тех пор как она начала работать с искусственным интеллектом. Сегодня мы хотим поделиться тем, как она создала его вместе с командой ComfyUI.

Мы познакомились с Hakoniwa в сообществе в начале 2023 года, а в 2024 году встретились в Токио. Она — увлеченный художник в сообществе диффузионных моделей в Японии и всегда была одной из первых, кто пробовал открытые модели и рабочие процессы. Ее техники выделяются благодаря ее уникальному стилю.

Задолго до появления ИИ Hakoniwa была иллюстратором-фрилансером, работавшим под псевдонимом meola. В начале эпохи Хацунэ Мику и сцены Vocaloid она брала заказы на иллюстрации от продюсеров Vocaloid, а также занималась видеопроизводством. Она сама писала музыку как продюсер Vocaloid и сочиняла тексты песен. Затем она продолжала создавать небольшие инди-игры самостоятельно.

В июле 2022 года она столкнулась с Midjourney и была поражена. Она увидела возможность внедрить ИИ в разработку своих игр. В то же время она почувствовала, что концепт-арт и фоновая работа, которыми она занималась параллельно, могут исчезнуть с приходом ИИ. Она решила твердо двигаться в сторону работы с ИИ и с тех пор стала одной из первых, кто тестирует новые модели.

Hakoniwa питает сильную страсть к анимации, обычно в японском стиле. И 70-80% ее работ в области ИИ-видео были созданы в ComfyUI. Сейчас она также является соруководителем AndIdea, токийской ИИ-компании, которая занимается всем: от производства анимации до поддержки внедрения генеративного ИИ, консалтинга и разработки. Вот проект, который мы сделали вместе два года назад: арт, отображенный на вывесках мероприятий в Харадзюку, Токио, снятый на реальную камеру.

Когда мы только собирались выпустить Comfy Agent, Hakoniwa была первым художником, с которым мы поговорили. После того как мы упомянули наше видение помощи в «мастерстве» творческого процесса, Hakoniwa вернулась с чем-то большим, чем просто демонстрация продукта. Она сказала: «У меня давно была история, которую я хотела создать», и она касалась ее понимания сторителлинга.

Мы сразу захотели сделать это вместе, как вызов, но также и как праздник для нее и для ComfyUI. И вот она — история создания YUI за кадром.

Имя главной героини — YUI. Оно происходит от последних трех букв ComfyUI. Hakoniwa сказала нам, что в этом есть нечто большее: 結 означает связывать, соединять, а также приносить плоды. «Я нашла YUI внутри ComfyUI, — написала она, — и через нее я открыла новые возможности».

Она не всегда была YUI. Мы сделали 2 версии персонажей и 5 вариантов нарядов, от варианта A до варианта E.

Первым протагонистом была HIBANA, рыжеволосая девушка, которую Hakoniwa создала два года назад всего за несколько часов. HIBANA стала основой демо, и с этого началось создание персонажа с помощью Comfy. Мы переработали ее вокруг Comfy: желто-фиолетовая палитра и логотип в форме буквы C на молнии.

Она в основном использовала GPT Image 2.5 через Agent для дизайна персонажа и статичных кадров.

YUI осознает, что она — главный герой истории. И когда в ее мире появляется красный таймер, этот мир заканчивается через три минуты. Она бежит к краю мира и находит четвертую стену.

Такая история о девочке, которая убегает и борется с миром, включает в себя множество динамичных и сложных сцен. Художнику нужно вложить много идей и внимания в композицию, окружение, позу персонажа, движение, выражение лица и общий темп. «Именно здесь по-настоящему проявляется личный вкус автора», — сказала она.

Раскадровка и лист персонажа также были важной частью подготовки.

И мир не закончился. В фильме таймер замирает на отметке 0:01 примерно на пятнадцать секунд и никогда не достигает нуля. История на этом не заканчивается: она продолжается в видео о создании, которое показывает, как была сделана YUI.

Что нам понравилось, так это то, что художник не скрывает свою работу. Вот несколько цифр из видео, озвученных Hakoniwa:

• Около 200 000 японских иен — общая стоимость, не включая оплату труда.

Около 200 000 японских иен — общая стоимость, не включая оплату труда.

• Три дня напряженной работы одного человека.

Три дня напряженной работы одного человека.

• Около 2/3 этих трех дней ушло на генерацию (с помощью Comfy Agent) и 1/3 на монтаж.

Около 2/3 этих трех дней ушло на генерацию (с помощью Comfy Agent) и 1/3 на монтаж.

• От начала до конца весь проект занял от 7 до 10 дней, включая взаимодействие с Comfy, создание персонажа и время ожидания.

От начала до конца весь проект занял от 7 до 10 дней, включая взаимодействие с Comfy, создание персонажа и время ожидания.

HIBANA, персонаж, которого она разработала два года назад, заняла всего несколько часов и не учитывается в этих цифрах.

И Comfy Agent помог в следующих областях:

• Перегенерация кадров. В черновой версии она хотела сгладить переходы и исправить моменты, где визуальная история была неясной. Финальный фильм длится 4:20. Перегенерация отдельных кадров — это постоянная рутина в таком фильме. Agent выстраивает рабочий процесс и запускает его, а она переходит к следующему кадру.

Перегенерация кадров. В черновой версии она хотела сгладить переходы и исправить моменты, где визуальная история была неясной. Финальный фильм длится 4:20. Перегенерация отдельных кадров — это постоянная рутина в таком фильме. Agent выстраивает рабочий процесс и запускает его, а она переходит к следующему кадру.

• Сравнение моделей. Она сравнивала видеомодели, такие как Wan, MiniMax H3 и Seedance, на одном и том же кадре и выбирала лучшую для каждого из них. Основной фильм был сделан в основном с помощью Seedance 2.5, а видео о создании — с MiniMax H3. Сравнение вручную занимает много времени. С Comfy Agent это стало шагом в цикле. Она делала то же самое для апскейлеров, показанных бок о бок в канале.

Сравнение моделей. Она сравнивала видеомодели, такие как Wan, MiniMax H3 и Seedance, на одном и том же кадре и выбирала лучшую для каждого из них. Основной фильм был сделан в основном с помощью Seedance 2.5, а видео о создании — с MiniMax H3. Сравнение вручную занимает много времени. С Comfy Agent это стало шагом в цикле. Она делала то же самое для апскейлеров, показанных бок о бок в канале.

• Проверка качества. Она использовала Agent для проверки результатов и для того, чтобы приблизить YUI к ее официальному листу персонажа. Согласованность — это то, что разрушает ИИ-анимацию. Она сказала нам, что самая сложная задача, которую она знает, — это связная последовательность с несколькими персонажами, где ничего не разваливается.

Проверка качества. Она использовала Agent для проверки результатов и для того, чтобы приблизить YUI к ее официальному листу персонажа. Согласованность — это то, что разрушает ИИ-анимацию. Она сказала нам, что самая сложная задача, которую она знает, — это связная последовательность с несколькими персонажами, где ничего не разваливается.

• Композиция на основе эскизов. Она часто использовала нарисованные от руки макеты, чтобы направлять кадрирование, а затем пробовала разные варианты до тех пор, пока, по словам Hakoniwa, «каждый кадр не соответствовал задуманному направлению».

Композиция на основе эскизов. Она часто использовала нарисованные от руки макеты для управления кадрированием, а затем методом проб и ошибок добивалась того, чтобы, по словам Hakoniwa, «каждый кадр соответствовал задуманному направлению».

Схема проста. Агент взял на себя рутинную работу, чтобы художница могла посвятить время непосредственному просмотру, творческому выбору и обсуждению: какой дубль обладает нужной энергией, на каком лице читается паника, когда нужно остановиться.

Наконец, вот набор эмодзи, который Hakoniwa создала в подарок зрителям и сообществу.

YUI — это первый короткометражный анимационный фильм, созданный с помощью Comfy Agent, и за ним последуют другие.

«История продолжается», — говорит YUI в фильме. Следующий проект можете создать вы.

Как всегда, приятного творчества!

Нет публикаций