π₀.₅ PSM2 Ring Transfer

Это файнтюн lerobot/pi05_base (3,62 млрд параметров) от arkojit1, обученный в LeRobot 0.4.4 на датасете wissenschaftderlogik/psm2-ring-transfer-binjaw-v5. В основе — 49 эпизодов телеуправления dVRK PSM2 на 15 Гц с одной задачей: захватить объект на правом стержне, перенести на средний, отпустить и убрать инструмент. Политика выдаёт чанк из 50 шагов (3,3 с) с 10-мерными действиями.

📌 Ключевые особенности

• 🎯 Одна задача ring-transfer; observation.state — 8-D: xyz, quaternion xyzw и угол jaw.
• 📸 Входы с камер: observation.image.cam0 (внешняя) и observation.image.cam1 (wrist), плюс empty_cameras=1.
• 🔒 Обучался только action expert (train_expert_only=true); SigLIP и Gemma-2B заморожены.
• ⚙ 8 × MI300X, global batch 64; чекпоинт step 16 000 из 20 000 (55,4 эпохи).
• ✅ Лучший eval loss в запуске — 0,1403 на 5 отложенных эпизодах; train loss 0,122.

💻 Пример

from lerobot.policies.pi05.modeling_pi05 import PI05Policy

policy = PI05Policy.from_pretrained("arkojit1/pi05_psm2ring_bs64_16k_20k")

Подробнее

Eval loss 0,1403 на эпизодах 44–48; это loss, а не task success rate.
Чекпоинт step 16 000 (55,4 эпохи) — лучший по eval loss в 20 000-шаговом запуске.
Нужны LeRobot 0.4.4 и форк transformers для π₀ (ветка fix/lerobot_openpi).
Действия — дельты как в датасете: action[t] = measured[t+1] − measured[t]; применять так же при деплое.
Нормализация quantile q01–q99; у dims 3 и 7 диапазон ~1e-6, поэтому значения уходят до ~±24.