Marionette

Marionette — набор весов исследовательской world-модели, опубликованный zhenli-shanda. Она делит игровую среду на три стадии: динамику, фиксированную геометрию и рендер наблюдения; обучаемые веса есть у первой и третьей. Observation-стадия — файнтюн Wan2.2-Fun-5B-Control на 10 ГБ, плюс PoseGPT (402 МБ) и ActionGPT (61 МБ).

⚙ Ключевые особенности

• 🔥 Observation — control-conditioned video diffusion transformer, fine-tune Wan2.2-Fun-5B-Control в режиме control_ref.
• 🧨 Dynamics: ActionGPT и PoseGPT предсказывают следующее действие и 276D articulated state на 20 fps по сканированному height field.
• 📌 Промпт — часть чекпоинта: в caption должен быть явный appearance id, иначе text encoder выходит из распределения.
• ⛔ Веса не standalone: нужен базовый alibaba-pai/Wan2.2-Fun-5B-Control (~23 ГБ), VAE и umT5-xxl берутся оттуда.
• © Только non-commercial research use, без перераспространения; ограничение связано с обучающим корпусом.

📝 Пример

git clone https://github.com/AlayaLab/Marionette && cd Marionette
bash fetch_weights.sh
bash fetch_base_model.sh
bash run_demo.sh

Подробнее

Инференс: 704×1280, 40 steps, guidance 6.0, 81-frame chunks, 30 fps.
Observation — step 17000, обучение на 16×H200 FSDP.
Dynamics обучена на одном виде монстров (em19); rollout chunk-relay накапливает ошибку внешнего вида.
Новая геометрия требует нового сканирования height field.