fuku

40fuku — image-to-video модель от Kompaktion: 722M-параметровый denoiser, дистиллированный из Causal Forcing framewise I2V (1.42B) на базе Wan2.1-T2V-1.3B. На вход берёт изображение и текстовый промпт, выдаёт видео 480×832; при желании добавляет звук через MMAudio. Лицензия Apache-2.0.

🔥 Ключевые особенности

• 🎞 722M-параметровый denoiser: 15 из 30 блоков Wan, вдвое меньше слоёв, чем у учителя.
• 📱 Генерирует 480×832 @ 16 fps: 2 с за один проход или до 30 с окнами по 1 с.
• 🔮 Опционально добавляет звук через MMAudio large_44k_v2; веса звука CC-BY-NC 4.0, только non-commercial.
• 💻 Быстро: ~2 с на H100, ~10 с на RTX 4070, ~25 с на T4 для 2-секундного клипа.
• 🖤 Apache-2.0; построена на Wan2.1 и Causal Forcing, тоже Apache-2.0.

💻 Пример

from huggingface_hub import hf_hub_download
import importlib.util, sys
spec = importlib.util.spec_from_file_location("fuku40", hf_hub_download("Kompaktion/40fuku", "fuku40.py"))
fuku40 = importlib.util.module_from_spec(spec)
sys.modules["fuku40"] = fuku40
spec.loader.exec_module(fuku40)
pipe = fuku40.load()
pipe.generate("my_photo.jpg", "a dog running toward the camera, cinematic", out="dog.mp4", seed=0)

Подробнее

Бенчмарки на 48 отложенных изображениях: latent MSE 0.534, PSNR 12.6 dB против видео учителя.
Память: ~6.5 GB peak, если text encoder на CPU; работает на 8–12 GB GPU. Звук требует ещё ~6 GB.
Ограничения: поздние кадры размываются и «плывут», лица и руки страдают сильнее всего; только landscape 832×480.
Длинные клипы деградируют и уходят в сторону; после ~10 с — в основном абстрактная картинка. Лучше всего работают английские промпты.
Обучение: 3 раунда дистилляции, включая DAgger-style раунд на собственных ошибках; релиз — EMA третьего раунда.