Viggle-Remake
пересборка видео и замена персонажей по текстовой команде
2 min readupdated
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) и MCP-сервер от команды Viggle для глубокого редактирования видео на базе MiniMax-H3. Модель позволяет менять персонажей, переодевать людей, добавлять или убирать объекты, а также перерисовывать окружение, свет и погоду с сохранением исходных движений, камеры, таймингов и звуковой дорожки. В отличие от ранней версии Viggle-Animate, которая умела только заменять персонажей, новинка охватывает редактирование всей сцены и поддерживает работу через ИИ-агентов (Claude Code, codex) для автоматической обработки длинных роликов.
Ключевые особенности
- Два режима работы: отдельные LoRA-адаптеры ранга 256 для замены людей или персонажей (
swap) и для редактирования объектов, фона, погоды или освещения (edit). - Агентский пайплайн (MCP): встроенный MCP-сервер позволяет агенту самому нарезать длинное видео на фрагменты, отрисовать ключевые кадры, запустить рендер и склеить финал со звуком.
- Опора на ключевые кадры: для генерации достаточно передать от 1 до 4 отредактированных опорных кадров (
--ref) и привязать их к конкретным таймингам ролика (--pin). - Облегчённые версии: помимо основных весов, доступны компактные LoRA рангов 128 и 64 (1.34 и 0.67 ГБ), а также квантованные сборки int8 и GGUF для ComfyUI.
Что можно сделать
- Переозвучивать и визуально переснимать музыкальные клипы или сцены из фильмов, заменяя актёров на других персонажей.
- Менять время года, погоду или освещение в готовых видеороликах без пересъёмки на площадке.
- Удалять лишние объекты из кадра или встраивать новый реквизит с сохранением исходной динамики камеры.
Пример
python Viggle-Remake/inference/sample.py --mode swap \
--video source.mp4 --prompt prompt.txt \
--ref ref1.png --ref ref2.png --pin 12 --pin 96 \
--frames 124 --short-edge 480 --seed 0 \
--base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4Подробнее
Базовая модель MiniMax-H3 занимает около 144 ГБ, а полный репозиторий Viggle-Remake — ~210 ГБ (для работы достаточно скачать ~5.5 ГБ адаптеров и скриптов).Для запуска оригинального скрипта
sample.py в bf16 требуется видеокарта с 80+ ГБ VRAM; через ComfyUI с int8/GGUF модель запускается на GPU от 12–24 ГБ.Один проход рендера ограничен ~12 секундами (90–345 кадров при 24 fps), длинные ролики разбиваются на окна.
Веса распространяются под лицензией MiniMax H3 Community License (требуется упоминание в коммерческих продуктах), код — под Apache 2.0.














Comments