Memorizon 1280×704 4-step

Чекпоинт Memorizon от Institute of Foundation Models (IFM), MBZUAI: image-to-video world model на базе Wan2.2-TI2V-5B (~5,14 млрд параметров). На вход — одно изображение и клавиатурные действия или траектория камеры; на выходе видео 1280×704 с 16 fps, генерируемое по одной секунде за раз.

⚡ Ключевые особенности

• 🎮 Управление с клавиатуры: w/s/a/d — перемещение, j/l/i/k — поворот и наклон, «.» — остаться на месте; одно действие на 0,25 с.
• 🖥 Разрешение 1280×704 и 16 fps; генерация идёт посекундно.
• ⚡ Дистилляция до 4 шагов без CFG — из 50-шагового чекпоинта с CFG 4 (Self-Forcing + DMD).
• 🗺 Можно передать траекторию камеры: массив [T, 4, 4] поз camera-to-world, T = 1 + 4 × секунды.
• 💬 Без промпта изображение автоматически описывается Qwen3-VL-8B в тренировочном формате.

💻 Пример

from memorizon import MemorizonPipeline, actions_to_c2w, save_video

pipe = MemorizonPipeline.from_pretrained("Luffuly/memorizon-1280x704-4step")
video = pipe("photo.jpg", actions_to_c2w("w*16 l*24 w*16 l*24"))
save_video(video, "out.mp4")

Подробнее

Чекпоинт дистиллирован из Luffuly/memorizon-1280x704-50step.
Сэмплирование: 4 шага, без CFG (значение читается из конфига).
Кастомный промпт лучше оформлять как в карточке: перспективный префикс и затем один абзац.
Бенчмарки и требования к VRAM в карточке не указаны.