UniVOE

UniVOE — фреймворк для универсального редактирования объектов в видео, построенный на Wan2.1-VACE-14B. Удаление и вставка объекта рассматриваются как взаимные операции: модель меняет не только сам объект, но и его следы в сцене — тени, отражения, отпечатки и освещение. Проект от Peking University, Tencent Hunyuan и The Chinese University of Hong Kong; полная система насчитывает 23B параметров, но в репозитории лежат 3B control branch и 153M DiT LoRA, а 14B backbone нужно скачивать отдельно.

🔥 Ключевые особенности

• 👀 Удаление и инъекция объектов: remove-12step, remove-50step и inject-50step.
• 💪 Effect-aware remover восстанавливает всю сцену без объекта, а не только область маски.
• 🔥 12-step дистилляция: быстрый remover с rank-32 LoRA; 50-step примерно в 4 раза медленнее.
• 🤫 Инъекция без маски: объект может появиться в любом месте видео.
• 🥳 GRAR post-training обновляет injector онлайн по групповым относительным наградам.
• 🐙 До 237 кадров при 832×480; инструкции на английском.

👉 Пример

huggingface-cli download Ysz2022/UniVOE --local-dir checkpoints/UniVOE
bash run_erase.sh
STEPS=50 bash run_erase.sh
bash run_inject.sh

Подробнее

Полная система: 23B параметров — 14B frozen Transformer, 3B control branch, text encoder/VAE. Файлы control branch весят по 6.1 GB в bf16, DiT LoRA — 307 MB.
Для removal дополнительно нужны GroundingDINO, SAM2 и bert-base-uncased; базовую Wan2.1-VACE-14B скачивают отдельно.
Ограничения: артефакты в crowded scenes и при сильном движении камеры; качество зависит от инструкции и reference image. Лицензия весов указана как LICENSE-PLACEHOLDER.