Fixer VACE

Промежуточный чекпоинт студента VACE от primecai для video-to-video: он «ремонтирует» черновое видео через уже нормализованные Wan latents. Это не готовый пайплайн Diffusers, а кастомные веса Fixer/FastGen — основной backbone и VACE-ветка архитектуры VACE-1.3B.

✨ Ключевые особенности

• 🤖 Основной backbone получает 16-канальный зашумлённый latent и предсказывает 16-канальный flow.
• 🕸 VACE-ветка принимает 96 каналов: архивный inactive latent, draft latent и маску из единиц.
• ⏳ Инференс причинный: один latent-кадр на чанк, четыре шага SDE-денойзинга и обновление KV-cache в обеих ветках.
• 💻 Текстовая обусловленность — архивный empty context, CFG 1.
• 💻 В экспорте есть полный student state dict; teacher, discriminator и optimizer states не входят.

💻 Пример

import sys
import torch
from huggingface_hub import snapshot_download
folder = snapshot_download('primecai/fixer-vace-self-forcing')
sys.path.insert(0, folder)
from load_student import load_student, repair_latents
student = load_student(folder)

Подробнее

Чекпоинт: 800-я итерация SF, после 1 000 warm-start обновлений causal flow matching; 160 student-обновлений на этапе Self-Forcing.
Обучение: DMD2 + GAN, LR 5e-6, 32 GPU H200 на четырёх нодах, global batch 64; teacher — VACE Fixer step-5873.
Инференс: CUDA/BF16, окружение FastGen на коммите c40fbea…, PyTorch 2.8.0, Diffusers 0.35.1, Transformers 4.49.0, PEFT 0.17.1.
Ограничения: промежуточный чекпоинт, qualitative-примеры, а не заявка на широкий бенчмарк; Wan VAE для RGB не входит. 21 latent-кадр соответствует 81 кадру 832×480.