Wan2.1 T2V 1.3B phi-lattice v2

Это вторая версия сборки Wan-AI/Wan2.1-T2V-1.3B-Diffusers на базе WanTransformer3DModel с 1,42 млрд параметров, оптимизированная через phi-lattice-v2. Модель генерирует видео по текстовому промпту в diffusers; в репозитории есть BF16 plug-and-play transformer и упакованный 4-bit архив.

⚡ Ключевые особенности

• 📀 4-bit packed архив весит 757,1 MB — в 7,50 раза меньше upstream FP32 и в 3,57 раза меньше BF16.
• 🧩 BF16 transformer на 2 706,6 MB — в 2,1 раза меньше upstream, готов к plug-and-play.
• 🎯 На 65 кадрах, 832×480 и 25 шагах: PSNR 13,73 dB против 13,30 dB у uniform 4-bit; SSIM 0,7285 против 0,6827.
• 🪨 SQNR весов — 19,65 dB против 19,19 dB; разреженность — 11,97%.
• 💭 Средняя temporal consistency — 0,0953 против 0,0682 у uniform 4-bit; по промптам результат неоднородный.

🎯 Пример

import torch
from diffusers import AutoencoderKLWan, WanPipeline, WanTransformer3DModel
base_id = "Wan-AI/Wan2.1-T2V-1.3B-Diffusers"
phi_id = "ununununununununununununununununununun/wan2.1-t2v-1.3b-phi-lattice-v2"
vae = AutoencoderKLWan.from_pretrained(base_id, subfolder="vae", torch_dtype=torch.float32)
transformer = WanTransformer3DModel.from_pretrained(phi_id, subfolder="transformer", torch_dtype=torch.bfloat16)
pipe = WanPipeline.from_pretrained(base_id, vae=vae, transformer=transformer, torch_dtype=torch.bfloat16).to("cuda")
output = pipe(prompt="A woman walking down a neon street in Tokyo at night", height=480, width=832, num_frames=65, num_inference_steps=25).frames[0]

Подробнее

Бенчмарк: 65 кадров (4,1 с при 16 fps), 832×480, 25 шагов; PSNR 13,73 dB, SSIM 0,7285, MAE 29,35 у phi-lattice v2 против 13,30 dB / 0,6827 / 31,09 у uniform 4-bit.
Размеры: 4-bit архив — 757,1 MB; BF16 transformer — 2 706,6 MB; upstream FP32 — 5 676 MB.
Ограничения: качество ниже BF16-референса, 4-bit сжатие lossy, оценка только на 3 showcase-промптах.
В репозитории есть MP4-сравнения и ключевые кадры.