Задание конкурса Comfy × MiniMax H3 Sync Sound могло показаться простым, но выполнить его качественно было непросто: нужно было создать в ComfyUI с помощью MiniMax H3 видео, где звук и изображение генерируются одновременно. Если персонаж хлопает в ладоши, звук хлопка должен был появиться в той же генерации, что и сами руки. Никакой фоновой музыки, наложенной позже, никакого дубляжа, хотя использование референсного аудио приветствовалось.
Прием заявок открылся 20 августа и завершился 1 сентября. Восемь креативных технологов из Comfy оценивали каждую работу по двум критериям: «Лучшее творческое решение» и «Лучшее техническое решение». Затем по пять лучших работ в каждой категории были представлены нашим приглашенным судьям во время прямой трансляции 3 сентября: POM (основатель Banodoco), Эмма Кэтнип (режиссер анимации и AV-художник) и Yachimat (художник анимации и манги). Их оценки были усреднены и добавлены к оценкам команды Comfy, а четвертый титул, «Built with MCP», оценивался отдельно.
Посмотреть запись прямой трансляции можно здесь.
Огромное спасибо MiniMax за создание модели с открытыми весами, которую так полюбило наше сообщество, нашим трем приглашенным судьям и всем, кто провел последнюю неделю августа в борьбе с референсным аудио! Вот результаты.
Приз: RTX 5090 32G
Прачечная, женщина в дутом жилете и ритм, созданный полностью из звуков машин. Visual Frisson сгенерировали большой объем клипов H3, используя собственные записанные аудио в качестве референса для каждого прохода, а затем смонтировали результаты как «stomp»-видео. Таким образом, каждый стук и цикл на экране — это звук, который H3 произвел вместе с картинкой, а не что-то добавленное позже.
Это была единственная работа, получившая идеальные 15/15 от команды Comfy в обеих категориях, а Comfy MCP использовался для управления большей частью процесса. В сочетании с оценками приглашенных судей работа набрала самый высокий общий балл в конкурсе.
От автора: «Всегда весело узнавать что-то новое, участвуя в подобных конкурсах, продолжайте их проводить».
Смотреть → vimeo.com/1223207725Воркфлоу → Google DriveПодписаться → instagram.com/visualfrisson
Приз: RTX 5060 Ti
Маленькое глиняное существо, которое меняется каждый раз, когда слышит звук (стекло, шерсть, лед, фарфор), пока к моменту возвращения домой оно уже не может двигаться. Весь звук был получен из H3 вместе с видео в каждом кадре, без какого-либо наложения. Наши судьи высоко оценили детализацию работы toki, отметив, что она «вызвала мурашки» на первой трансформации, обладает коммерческим потенциалом и выглядит очень изящной и проработанной.
Судьи поставили этой работе самый высокий балл среди всех творческих финалистов, а репозиторий оказался необычайно щедрым: он включает восемь API-графов, которые действительно работали, те же восемь графов, преобразованных в формат UI с аннотациями, журнал процесса с каждым измерением и скрипты, которые выдали эти цифры. toki также четко определяет границы, отмечая, что MCP управлял финальным проходом, а не генерацией исходного кадра.
Смотреть → youtube.com/watch?v=Rv5HOgCac-wВоркфлоу → github.com/tokimwc/every-sound-leaves-a-markПодписаться → @toki_mwc
Приз: RTX 5060 Ti
SonderSaid не просто создали воркфлоу, они создали инструменты вокруг него. Работа запущена на кастомных узлах собственной разработки, подключенных к H3-пайплайну, управляемому референсами. Она получила чистые 15/15 за новизну, качество воркфлоу и ценность для сообщества от команды Comfy, а также самый высокий средний балл от приглашенных судей в технической категории. Примечательно, что работа включает в себя целый пакет кастомных узлов специально для монтажа и работы с референсами, что было названо «совершенно новым UI», который слишком хорош, чтобы держать его в секрете. Хотя работа SonderSaid получила приз за лучшее техническое решение, наши приглашенные судьи также отметили, как сильно им понравились сторителлинг, саспенс и элемент неожиданности.
Смотреть → youtu.be/n-NdAQk7I8AВоркфлоу → Hugging FaceПодписаться → @SonderSaid
Приз: RTX 5060 Ti
Бонус «Built with MCP» достался тому, кто наиболее эффективно использовал Comfy MCP для создания чего-то визуально и технически убедительного, и Jay Choi использовали его от начала до конца. Работая локально на RTX 5090 с Hermes Agent, управляющим ComfyUI через MCP, они обучили LoRA, построили собственную оркестрацию поверх этого и, по их собственным словам, потратили большую часть времени на настройку и отладку самого слоя MCP. Фильм, получившийся в итоге — двое заключенных с завязанными глазами в темной дождливой камере — это нечто гораздо большее, чем просто «промпт и запуск».
От автора: «Спасибо за конкурс! Я узнал больше, чем когда-либо мог за последние две недели!»
Смотреть → youtu.be/FlK0dDZdzRUВоркфлоу → Google DriveПодписаться → @permafrost_2021 · @jaychoirenderender
Десять работ попали на прямую трансляцию. Шесть из них не получили титул, но каждая из них стоит вашего внимания.
Энергия ручной рисовки и граффити-стена с названием, созданные локально в ComfyUI. Записка Nebsh к нам состояла из трех слов и сердечка, что показалось вполне уместным. Наши приглашенные судьи похвалили работу Nebsh за ощущение смешанной техники, отсылающее к эпохе MTV, и впечатляющую синхронизацию со звуками бумаги. «Под капотом» воркфлоу Nebsh объединил восемь сегментов без видимого рассинхрона между ними — судьи назвали это «очень чистой работой».
Смотреть → YouTubeВоркфлоу → Google DriveПодписаться → @nebsh83
Идеальные 15/15 от команды Comfy по творческому критерию и одна из работ, которая использовала Comfy MCP от начала до конца! Как отметили наши судьи, H3 очень хорош в создании звуковых эффектов, подобных тем, что показаны в работе scvxzf, а не в речи или пении, и они выбрали именно ту концепцию, которая идеально подходила для конкурса.
Смотреть → YouTubeВоркфлоу → Google Drive · github.com/scvxzf1Подписаться → youtube.com/@钛龙白口-j6d
Две референсные фотографии кота Муму, набор WAV-файлов, поданных в качестве референсного аудио для управления каждой генерацией, и глитч-текстура, добавленная при монтаже. Если имя кажется знакомым, sorryaboutyourcats также создали игру mow meow. Судьи сказали: «Я мог бы смотреть на это вечно», отметили, что мелодия застряла у них в голове, и подчеркнули впечатляющие возможности H3 в синхронизации губ у котов, а не только у людей.
Смотреть → youtube.com/watch?v=AxUu8rabC6MВоркфлоу → Google DriveПодписаться → @sorryaboutyourcats
5/5 как за синхронизацию звука, так и за творческое исполнение, и напоминание о том, что такое терпение: генерация заняла два часа тридцать пять минут на 5090. Наши судьи похвалили работу Slop Diffusion за сторителлинг, отметив, что им было любопытно узнать, куда история повернет дальше. Один из судей заметил: «это Slop (помойка) по названию, но не по сути».
Смотреть → RedditВоркфлоу → Google DriveПодписаться → @SlopDiffusion
Подошли к заданию с обратной стороны: мы просили видео, управляемое звуком, а они рассказали историю молодой глухой женщины, которая изобретает мир, где она сама создает музыку. Саундтрек — собственная композиция Aïe Aïe Aïe, поданная в H3 в качестве референсных дорожек (трек с хлопками подавался отдельно, и горилла хлопает точно в такт). Судьи похвалили работу за захватывающую историю, умную инверсию условий конкурса, демонстрацию сильных сторон H3 через физические выражения музыкантов, усиливающиеся вместе с песней, и связь с реальным миром. Художник выучил язык жестов для финального кадра на YouTube, снял себя на видео и использовал это в качестве видеореференса.
«Под капотом» Claude управляет ComfyUI через MCP для проектирования двухпроходной системы H3REF, которая генерирует видео в полном разрешении в два раза быстрее и позволяет создавать 13–15-секундные фрагменты там, где стандартный рабочий процесс исчерпывает память. Также добавлен узел предварительного просмотра, который показывает видео прямо во время процесса семплирования. Всё это распространяется по лицензии MIT, включая пользовательские узлы.
Смотреть → youtube.com/watch?v=S0v1pWN4Hq4Рабочий процесс → github.com/Hyper-Neural/h3-sync-two-phaseПодписаться → @AïeAïeAïe
Один из самых аккуратных графов, которые мы открывали: латентное масштабирование (latent upscale), переопределение предварительного просмотра модели и дополнительная группа для расширения видео — всё расположено так, что разобраться можно с нуля. YouTube-канал RareTutor полон уроков, если вы хотите учиться у них напрямую! Судьи отметили рабочий процесс RareTutor, заметив, что «здесь много советов, которые стоит перенять», например, использование латентного масштабирования в качестве средства предварительного просмотра, чтобы можно было остановить неудачный запуск до того, как будет потрачено лишнее время.
Смотреть → youtube.com/watch?v=TNhJI8dzaVAРабочий процесс → Google DriveПодписаться → @raretutor_
Короткий музыкальный клип с самоограничениями: никаких внешних ресурсов, всё создано в рамках одного рабочего процесса, без использования сторонних пакетов пользовательских узлов. Результат хорошо аннотирован и доступен для понимания — это тот тип графа, который может открыть новый пользователь и вполне логично в нём разобраться. Работа получила самый высокий творческий балл среди всех технических финалистов. Судьи высоко оценили эту работу как выдающийся пример создания музыкального видео, где персонажи действительно читают рэп в соответствии с песней.
Смотреть → wamms.atРабочий процесс → sync-sound-challenge.jsonПодписаться → wamms.at
Несколько финалистов и многие участники опирались на Comfy MCP, который позволяет агенту (Claude, Cursor, Codex, Hermes или любому другому, который вы используете) управлять ComfyUI на обычном языке.
Функция, которую участники использовали чаще всего — это проверка оборудования: она анализирует ваш реальный GPU, считывает узлы и модели, уже имеющиеся на диске, и подсказывает, какую версию модели стоит запускать, прежде чем вы потратите время или кредиты. Она работает как с локальным ComfyUI, так и с Comfy Cloud из одной учетной записи.
Проект имеет открытый исходный код по адресу github.com/Comfy-Org/comfy-mcp, и самый быстрый способ начать — это сказать своему агенту: «помоги мне настроить локальное подключение Comfy MCP».
Независимо от занятого места, каждая работа находится в мегатреде конкурса на r/comfyui с приложенным рабочим процессом. Откройте несколько из них. Некоторые из самых интересных аудиоработ в пуле не попали в десятку лучших, а среди заявок есть работы на китайском, японском и французском языках, которые заслуживают большего внимания.
Запись прямой трансляции, включая живую реакцию судей, доступна на YouTube.
Спасибо, что сделали этот конкурс таким грандиозным! #ComfyH3
Нет публикаций
