SmolVLA SO-101 M6

Это файнтюн SmolVLA на 0,45 млрд параметров от dhruv1672 на базе lerobot/smolvla_base для робота SO-101. Политика учится вставлять штифт 20 мм в глухое отверстие с радиальным зазором 0,5–2,5 мм в Isaac Sim 6.0.1 / Isaac Lab 3.0. В репозитории только файлы инференса, без состояния обучения.

🔤 Ключевые особенности

• ▶ Двухэтапный файнтюн: M5 на 80 pan-shaped эпизодах (72 в обучении), затем M6 на 40 записях recovery-v2 — 80 чистых сегментов и 17 152 кадра.
• ➕ Обучены action expert, проекции и все 12 блоков SigLIP; языковая модель заморожена.
• 🔜 Управление 30 Гц: 5 суставов руки в градусах + гриппер 0..100; камеры overhead и wrist 480x640.
• ➖ Действия относительны состояния суставов на старте чанка; для замкнутого контура нужен серверный путь проекта.
• 6⃣ Опциональные серверные фильтры blend, Kalman и cap без изменения весов.

🟰 Пример

from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained(
    'dhruv1672/smolvla-so101-peg-M6-recovery-vision-trained',
    revision='M6-ckpt-020000',
)

Подробнее

Закрытый контур, 80 эпизодов: 23/80 без фильтра, 29/80 с blend, 30/80 с Kalman, 24/80 с cap.
Обучение M6 заняло около 2 ч на RTX 5080 Laptop 16 ГБ при ~10 ГБ VRAM.
Это только симуляция без проверки на реальном роботе; успех сильно ниже скриптового эксперта (30/30 на 0,5–1,0 мм), цель 99/100 не достигнута.
Одна задача и один промпт; обобщение на язык и цвет не обучалось.