RoFacto-Wan2.1-14B

RoFacto-Wan2.1-14B — inference-адаптеры для Robot-Factored World Models via Robot Rendering от byungjun-kim. Это rank-64 LoRA и extended patch embedding к 14B-модели Wan2.1-Fun-V1.1-14B-InP: видео строится по статичной сцене и camera-aligned рендеру робота; depth-вариант добавляет глубину сцены и энд-эффектора.

⚙ Ключевые особенности

• 🎬 rgb-droid: static RGB + nominal robot mesh RGB, 16 добавленных latent-каналов.
• 🎬 depth-droid-robocasa: RGB/mesh + scene depth + EEF depth, 48 каналов.
• ⚙ Rank-64 LoRA, extended patch embedding и inference-конфиг; нужны оба safetensors-файла.
• 📡 Оба варианта — 8 000 optimizer updates; датасеты разные, это не matched-data ablation.
• 🔒 Код пока по приглашению; веса под Apache-2.0.

🎬 Пример

python -m training.wan.inference --checkpoint_path models/rofacto-wan/rgb-droid --experiment_config models/rofacto-wan/rgb-droid/inference.yaml --base_model_path models/wan-base --video_path inputs/static.mp4 --static_video_path inputs/static.mp4 --robot_mesh_video_path inputs/mesh.mp4 --prompt_mode custom --custom_prompt 'A robot picks up the object.' --height 480 --width 832 --num_frames 81 --num_inference_steps 50 --guidance_scale 6 --output_dir outputs/rofacto-wan

Подробнее

База — Wan2.1-Fun-V1.1-14B-InP; в репозитории только адаптеры, без полной модели и optimizer state.
Оба варианта обучены по 8 000 updates; датасеты разные, это не matched-data RGB/depth ablation.
Выход — видео, не команды робота; H2R требует удаления человека, motion retargeting и рендера робота.
Для depth-варианта нужны scene depth и EEF depth в представлении обучения; код пока по приглашению.