Eden 5B matrix-shooter 1-step student

Это причинная 1-step video-модель, которая перекрашивает low-poly graybox-рендеры matrix-shooter в игровые стили по одному latent-кадру (4 видеокадра) для стриминга в реальном времени. База — Eden 5B DiT (архитектура Wan 2.2 TI2V-5B), дистиллированная из двунаправленного 40-step teacher с DMD и adversarial-членом в стиле DMD2/One-Forcing. Поддерживает карты paris/tsinghua, стили cartoon/war/punk/sakura, 960×544, 24 fps.

⚡ Ключевые особенности

• ⚙ Вход — только graybox-видео плюс один стилизованный первый кадр; proxy-DINO признаки не используются и подаются нулями.
• 🔄 Graybox latent внедряется дважды: конкатенацией на patch embedding и через GeomInject после каждого из 30 transformer-блоков.
• 📡 Причинная генерация: один шаг из чистого шума на latent-кадр, K/V-арена из 6 sink- и 12 последних кадров.
• 🗺 8 промптов (map, look) зашиты как UMT5-эмбеддинги — текстовый энкодер не нужен.
• 🎨 Первый стилизованный кадр обязателен: он задаёт цвета и скины персонажей.

💻 Пример

export EDEN_MODEL_ROOT=/path/to/EdenLive
export EDEN_CODE=/path/to/eden-code/realtime
export TAEHV_DIR=/path/to/this/repo/taehv
cd code
python -m sftrain.infer_student --model ../student \
  --graybox graybox.mp4 --reference styled_first_frame.png \
  --map paris --look cartoon --out out.mp4

Подробнее

Качество на held-out: PSNR 19.79, LPIPS 0.330, character sharpness ratio 0.81 (teacher: 22.51 / 0.188 / 0.81).
Скорость: ~108 мс на latent (4 кадра) на RTX PRO 6000; ~135 мс на RTX 5090 32 GB.
Нужны внешние Wan 2.2 VAE и пакет Eden flashdreams; на 24–32 GB задайте PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True.
Ограничения: дальние персонажи могут получить неверные цвета одежды, мелкие текстуры мягче, чем у teacher; обучение только на paris/tsinghua.