AlayaRenderer-Flash

Модель от AlayaLab превращает G-buffer из игрового движка (albedo, depth, metallic, normal, roughness) в RGB-кадры в стиле, заданном текстовым промптом. Это fine-tune на базе Wan 2.1 1.3B DiT с авторегрессивной архитектурой Helios, адаптированный под SuperTuxKart.

✨ Ключевые особенности

• 🎨 На входе — пять G-buffer-каналов и текст, на выходе — RGB-кадры.
• ⚡ Четыре шага денойзинга и авторегрессивный стриминг: около 30 FPS на одной NVIDIA H200.
• 🧠 Helios: unified history injection, multi-term memory patches с историей 8/2/1 латентов, first-frame anchor и text-sink.
• 🧩 Отдельные G-buffer encoder и tiny decoder TAEW2.1; базовую Wan 2.1 нужно скачивать отдельно.
• 🎯 Обучение на захватах SuperTuxKart в 832×448; на других движках и разрешениях качество падает.

💻 Пример

git clone https://github.com/AlayaLab/AlayaRenderer-Flash && cd AlayaRenderer-Flash
uv sync
uv run python examples/fetch_samples.py
uv run alayarender-flash render samples/window-00.npy samples/window-01.npy --prompt "heavy snow at night, warm street lights" -o snow.mp4

Подробнее

Производительность: около 30 FPS на NVIDIA H200, разрешение 832×448, 4 шага Euler, guidance scale 1.0 — CFG дистиллирован в модель.
Для реального времени нужен GPU класса Hopper; на потребительских GPU модель запускается, но медленнее.
Ограничения: контроль промптом ограничен, при длинных роллаутах возможен дрейф цвета и освещения.
Обучение: авторегрессивный тренинг, CFG-дистилляция, прогрессивная 4-шаговая дистилляция и Mean Flow Distillation; это checkpoint 600 финальной стадии, код обучения не опубликован.