Memorizon 1280×704 4-step
world model, управляемая картинкой и клавишами
1 min read
Чекпоинт Memorizon от Institute of Foundation Models (IFM), MBZUAI: image-to-video world model на базе Wan2.2-TI2V-5B (~5,14 млрд параметров). На вход — одно изображение и клавиатурные действия или траектория камеры; на выходе видео 1280×704 с 16 fps, генерируемое по одной секунде за раз.
Ключевые особенности
- Управление с клавиатуры: w/s/a/d — перемещение, j/l/i/k — поворот и наклон, «.» — остаться на месте; одно действие на 0,25 с.
- Разрешение 1280×704 и 16 fps; генерация идёт посекундно.
- Дистилляция до 4 шагов без CFG — из 50-шагового чекпоинта с CFG 4 (Self-Forcing + DMD).
- Можно передать траекторию камеры: массив [T, 4, 4] поз camera-to-world, T = 1 + 4 × секунды.
- Без промпта изображение автоматически описывается Qwen3-VL-8B в тренировочном формате.
Пример
from memorizon import MemorizonPipeline, actions_to_c2w, save_video
pipe = MemorizonPipeline.from_pretrained("Luffuly/memorizon-1280x704-4step")
video = pipe("photo.jpg", actions_to_c2w("w*16 l*24 w*16 l*24"))
save_video(video, "out.mp4")
Подробнее
Чекпоинт дистиллирован из Luffuly/memorizon-1280x704-50step.Сэмплирование: 4 шага, без CFG (значение читается из конфига).
Кастомный промпт лучше оформлять как в карточке: перспективный префикс и затем один абзац.
Бенчмарки и требования к VRAM в карточке не указаны.










Comments