Memory-V2V
пересъемка видео с разных ракурсов без потери связности
2 min readupdated
Модель решает задачу последовательного синтеза новых ракурсов (novel view synthesis) для уже готового видео. На входе подается исходный ролик и список траекторий движения камеры, а на выходе получаются новые версии сцены, снятые будто с других точек. В основе лежит архитектура DiT (Diffusion Transformer — диффузионный трансформер) на 1.50B параметров, дообученная поверх ReCamMaster-Wan2.1 и базовой Wan2.1-T2V-1.3B. Главное отличие от обычных моделей смены ракурса — механизм памяти: каждый следующий проход учитывает не только оригинал, но и все ранее сгенерированные варианты, поэтому геометрия и детали сцены не разваливаются между дублями. Подойдет исследователям, видеографам и разработчикам инструментов для виртуальной операторской работы.
Ключевые особенности
- Консистентная память между ракурсами: траектории из списка
--cam_typeгенерируются по очереди с опорой на все предыдущие результаты. - Ускорение через ATM: встроен механизм adaptive token merging (адаптивное слияние токенов), который ускоряет генерацию при запуске с флагом
--use_atm. - Компактный чекпоинт на базе Wan 2.1: сам файл весов
memoryv2v.ckptзанимает 3.0 ГБ в формате bfloat16, но для работы также требует базовые компонентыWan2.1-T2V-1.3B. - Открытая лицензия: модель распространяется под лицензией Apache-2.0.
Что можно сделать
- Собрать мультикамерную сцену из одного дубля: прогнать исходное видео через несколько предустановленных траекторий камеры подряд и получить согласованные планы для монтажа.
- Прототипировать операторские пролеты: протестировать разные варианты движения камеры (панорамирование, облет, смена угла) на готовом футаже без пересъемки.
Пример
# Перерендер видео по траекториям камеры 2 -> 3 -> 13
python inference.py --cam_type 2 3 13 --ckpt_path ./models/checkpoints/memoryv2v.ckpt
# Тот же запуск с ускорением adaptive token merging (ATM)
python inference.py --cam_type 2 3 13 --ckpt_path ./models/checkpoints/memoryv2v.ckpt --use_atmПодробнее
Формат генерации: 81 кадр в разрешении 832x480 (входное видео приводится к этому размеру и обрезается до первых 81 кадров).Требования к VRAM: около 18 ГБ видеопамяти для генерации трех ракурсов подряд; расход памяти и время растут с каждым новым видом.
Зависимости: дополнительно нужно скачать текстовый энкодер, VAE и базовый DiT от
Wan2.1-T2V-1.3B (около 17.6 ГБ).Ограничение: в репозиторий выложен только чекпоинт для смены ракурсов камеры; версия для текстового редактирования длинных видео из статьи ECCV 2026 не включена.










Comments