CRePE

CRePE — метод управляемой генерации видео по тексту с контролем камеры, линзы и ориентации, представленный на NeurIPS 2026. Это лёгкий Geometric Attention Adapter на замороженной Wan2.1-T2V-1.3B: веса адаптера занимают 36.2M параметров в bf16 (~72 MB), а базовая модель загружается отдельно.

🔥 Ключевые особенности

• 🎞 Управление траекторией камеры, ориентацией и параметрами линзы: pinhole, wide-angle и fisheye, горизонтальный FOV до 200°.
• 💻 Генерация по текстовому промпту, траектории и параметрам линзы; на выходе 81 кадр 832×480 при 16 fps.
• 📱 CRePE-Mix дополнительно принимает внешнюю radial map — генерация с camera + radial-map conditioning и перенос движения.
• ✅ В репозитории только веса адаптера; базовая Wan2.1-T2V-1.3B загружается отдельно.

💻 Пример

from crepe import CRePEPipeline, load_trajectory, save_video

pipe = CRePEPipeline.from_pretrained("checkpoints/crepe.safetensors", device="cuda")
pose = load_trajectory("demo/trajectories/panshot_aQVLCO-OOqM-11-1-no_rot_aug_0.npy")
frames = pipe("A majestic red fox sitting on a moss-covered rock ...", pose=pose, x_fov=160.0, xi=1.5, seed=0)
save_video(frames, "fox.mp4", fps=16)

Подробнее

Обучение: PanShot, 47 920 клипов, 81 кадр 832×480; замороженная Wan2.1-T2V-1.3B + адаптеры в блоках 10–19.
Инференс: ~4,5 минуты на один клип на B200, ~18 ГБ GPU-памяти.
Ограничения: в основном статичные сцены; очень быстрые и необычные траектории хуже; возможны артефакты.
❗ Чекпоинт из статьи утерян; crepe.safetensors — реимплементация, цифры немного отличаются. Лицензия весов CC BY-NC-SA 4.0.