Pelican-Sim 1.0

От WFM System Group (Beijing Innovation Center of Humanoid Robotics, X-Humanoid). Это action-conditioned world model simulator: по первому RGB-кадру, траектории суставов робота и языковой инструкции предсказывает будущее видео. Один чекпоинт рассчитан на разных роботов; бэкбон — 28-слойный Cosmos-Predict2.5-2B Video DiT со sparse MoE.

✨ Ключевые особенности

• 🔥 Единый 28-D action layout покрывает parallel-gripper, dexterous-hand, single-arm и bimanual роботов.
• 💻 Траектория подаётся дважды: числовые конфигурации и URDF-скелетное видео, выровненное по камере; условия чередуются в блоках Video DiT.
• 🎙 Sparse MoE: 1 shared + 8 routed experts, sigmoid top-2; снижает FVD на 6.530 относительно dense-бэкбона.
• ✔ Есть дистиллированный четырёхшаговый авторегрессионный вариант и fine-tuned VLM-оценщик для обратной связи по политикам.
• 📚 Обучение — ~1M реальных и симулированных траекторий (~8 000 часов) из AgiBotWorld Beta, RealSource World, RoboMIND, LIBERO, ManiSkill2, RoboTwin и RoboCasa.

💻 Пример

git clone https://github.com/ZouShilong1024/Pelican-Sim1.0.git && cd Pelican-Sim1.0
uv sync --extra=cu128 && uv pip install yourdfpy opencv-python pyarrow
hf download ShilongZou/Pelican-Sim1.0 --local-dir checkpoints/Pelican-Sim-1.0
SAMPLE_DIR=examples/samples/agibot_put_in_bag ./infer.sh

Подробнее

PSNR на held-out наборах: 22.276 / 23.850 / 30.383 dB; прирост над лучшим baseline — +4.636 / +2.080 / +10.343 dB (AgiBotWorld Beta / RoboMIND / RoboTwin).
Чекпоинт model_ema_bf16.pt — ~23.6 GB в bf16; сэмплер: 35 шагов, чанки по 93 кадра 480×640.
На RoboTwin аугментация данными подняла success политики с 70.0% до 93.0%, imagined policy optimization — с 62.7% до 75.4%.