длинные видео со звуком в ComfyUI из одного сценария
schedule 3 мин чтения
Кастомная нода для ComfyUI от автора cmjones1966, которая обходит ограничение модели MiniMax-H3 в 15 секунд и позволяет собирать длинные видеоролики с единой аудиодорожкой. Пользователь пишет сценарий по абзацам-сценам, а нода сама разбивает его на отдельные шоты, рендерит их по очереди с опорой на последний кадр предыдущего отрезка и склеивает в целый ролик. Внутри сохраняется консистентность персонажей и их одежды, а все реплики в кавычках автоматически получают липсинк (синхронизацию движения губ с речью). Инструмент пригодится тем, кто делает в ComfyUI многокадровые истории, диалоги и сюжетные видео без ручной склейки фрагментов.
Ключевые особенности
Память персонажей и референсов: через поле character_memory и входы ref_image_1–4 можно задать внешность, одежду и предметы героев, чтобы они не менялись от кадра к кадру.
Умная озвучка и липсинк: реплики в кавычках синхронизируются с говорящим персонажем, а шоты без диалогов рендерятся без звука и озвучиваются отдельным фоли-проходом (генерацией фоновых звуков).
Сценарные теги управления: прямо под абзацем можно указать действия с одеждой и предметами (hold, release, remove, wear, lift, tear), выход героя из кадра (exit), жёсткую склейку (cut) или длительность шота.
Выравнивание цвета и фона: каждый новый шот подгоняется по цвету, контрасту и резкости под предыдущий, чтобы стыки между отрезками не бросались в глаза.
Поддержка ускорителей: нода автоматически распознаёт Speed LoRA, Hyperflow и FastH3 без ручной обвязки, а также работает с MiniMaxH3PDDAccApply.
Что можно сделать
Собрать диалоговую сцену: описать в одном промпте встречу нескольких персонажей с репликами в кавычках и получить готовый ролик с озвучкой и попаданием в губы.
Снять непрерывный сюжет с действиями: использовать теги wear, remove или exit, чтобы герои по ходу сцены надевали или снимали вещи и уходили из кадра.
Спланировать раскадровку без рендера: включить режим plan_only, чтобы проверить разбивку сценария на шоты, тайминги и итоговые промпты в выходах script и info до запуска генерации.
Пример
В поле character_memory задаются герои с привязкой к референсам, а в основной промпт пишется сценарий по абзацам (реплики в кавычках озвучиваются):
Sarah : a woman in her twenties, long brown hair, white blouse, black skirt
Dana: a woman in her thirties, short red hair, black blazer, blue shirt, grey trousers
A dim office at night.
Dana walks in and stops at Sarah's desk. "You're still here?" she asks.
Sarah looks up and smiles. "I was waiting for you."
Dana walks out of the room.
exit: Dana
ПодробнееДля работы требуется ComfyUI с нативной поддержкой MiniMax-H3, полный видео-VAE (decoder-only не подходит для продолжения с последнего кадра) и отдельный конвертированный аудио-VAE. Для лучшего качества автор рекомендует гибридный чекпоинт Minimax-H3-fl2va-ref2va-hybrid-models; при наличии comfyui_controlnet_aux с моделями DWPose референсы автоматически обрезаются по лицу и волосам. В комплект входят вспомогательные ноды H3 Shot Length (расчёт валидного числа кадров) и H3 Overlay (наложение интро и водяного знака через временный файл на диске без забивания RAM).
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# cmjones1966/MiniMax-H3-Longvideos
mkdir -p ~/models
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv tool install "huggingface_hub[cli]"
hf download cmjones1966/MiniMax-H3-Longvideos --local-dir ~/models/MiniMax-H3-Longvideos
# Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
Комментарии