MoPlan
планировщик движения объектов для Wan 2.2
2 min readupdated
MoPlan — это исследовательский набор весов к статье «Decide Motion Before Pixels: Planning Object Motion for Image-to-Video Generation», который решает задачу более осмысленного оживления статичных картинок в видео. Модель работает поверх Wan-AI/Wan2.2-I2V-A14B-Diffusers и разделяет процесс на два этапа: сначала планирует траектории движения объектов, а затем адаптирует их для финальной генерации. Такой подход позволяет заранее задать логику перемещения до отрисовки самих пикселей. Разработка пригодится исследователям и авторам видеогенерации, которым нужен точный контроль над движением объектов в кадре.
Ключевые особенности
- Двухэтапная архитектура: Stage-1 отвечает за планирование движения (motion planner со slot decoder и априорным латентом), а Stage-2 дорабатывает детали.
- Разделение по экспертам Wan 2.2: отдельные модули
lora_params.pt(небольшие надстройки над базовой моделью) иmotion_adapter.ptдля high-noise и low-noise экспертов. - Автоматическая загрузка с проверкой: скрипт из официального репозитория сам скачивает нужную ревизию базовой модели и проверяет хеш-суммы
sha256всех файлов.
Что можно сделать
- Превращать статичные изображения в видеоролики с продуманным и последовательным движением объектов на базе
Wan2.2-I2V-A14B. - Изучать и дорабатывать раздельный пайплайн планирования движения с помощью открытого кода из репозитория
yangruoliu/moplan-code.
Пример
В карточке модели нет готового кода инференса — полный код установки и запуска находится в GitHub-репозитории yangruoliu/moplan-code. Для подготовки весов используется скрипт setup/download_weights.py, который автоматически выкачивает базовую модель Wan-AI/Wan2.2-I2V-A14B-Diffusers нужной ревизии вместе с весами MoPlan.
Подробнее
Базовая модель: Wan-AI/Wan2.2-I2V-A14B-Diffusers (в архив не входит, загружается отдельно).Состав весов: Stage-1 (backend_params.pt, decoder.pt, prior_latent.pt и конфиги) и Stage-2 (LoRA и motion_adapter для high и low экспертов).
Авторы: Ruoliu Yang, Baiang Li, Xin Lin, Felix Heide.
Бенчмарки и требования к VRAM в карточке модели не указаны.










Comments