RoFacto-Wan2.1-14B
видео по сцене и рендеру робота
1 min readupdated
RoFacto-Wan2.1-14B — inference-адаптеры для Robot-Factored World Models via Robot Rendering от byungjun-kim. Это rank-64 LoRA и extended patch embedding к 14B-модели Wan2.1-Fun-V1.1-14B-InP: видео строится по статичной сцене и camera-aligned рендеру робота; depth-вариант добавляет глубину сцены и энд-эффектора.
Ключевые особенности
rgb-droid: static RGB + nominal robot mesh RGB, 16 добавленных latent-каналов.depth-droid-robocasa: RGB/mesh + scene depth + EEF depth, 48 каналов.- Rank-64 LoRA, extended patch embedding и inference-конфиг; нужны оба safetensors-файла.
- Оба варианта — 8 000 optimizer updates; датасеты разные, это не matched-data ablation.
- Код пока по приглашению; веса под Apache-2.0.
Пример
python -m training.wan.inference --checkpoint_path models/rofacto-wan/rgb-droid --experiment_config models/rofacto-wan/rgb-droid/inference.yaml --base_model_path models/wan-base --video_path inputs/static.mp4 --static_video_path inputs/static.mp4 --robot_mesh_video_path inputs/mesh.mp4 --prompt_mode custom --custom_prompt 'A robot picks up the object.' --height 480 --width 832 --num_frames 81 --num_inference_steps 50 --guidance_scale 6 --output_dir outputs/rofacto-wan
Подробнее
База — Wan2.1-Fun-V1.1-14B-InP; в репозитории только адаптеры, без полной модели и optimizer state.Оба варианта обучены по 8 000 updates; датасеты разные, это не matched-data RGB/depth ablation.
Выход — видео, не команды робота; H2R требует удаления человека, motion retargeting и рендера робота.
Для depth-варианта нужны scene depth и EEF depth в представлении обучения; код пока по приглашению.










Comments