SmolVLA SO-101 M6
политика вставки штифта для SO-101
2 min readupdated
Это файнтюн SmolVLA на 0,45 млрд параметров от dhruv1672 на базе lerobot/smolvla_base для робота SO-101. Политика учится вставлять штифт 20 мм в глухое отверстие с радиальным зазором 0,5–2,5 мм в Isaac Sim 6.0.1 / Isaac Lab 3.0. В репозитории только файлы инференса, без состояния обучения.
Ключевые особенности
- Двухэтапный файнтюн: M5 на 80 pan-shaped эпизодах (72 в обучении), затем M6 на 40 записях recovery-v2 — 80 чистых сегментов и 17 152 кадра.
- Обучены action expert, проекции и все 12 блоков SigLIP; языковая модель заморожена.
- Управление 30 Гц: 5 суставов руки в градусах + гриппер 0..100; камеры overhead и wrist 480x640.
- Действия относительны состояния суставов на старте чанка; для замкнутого контура нужен серверный путь проекта.
- Опциональные серверные фильтры blend, Kalman и cap без изменения весов.
Пример
from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained(
'dhruv1672/smolvla-so101-peg-M6-recovery-vision-trained',
revision='M6-ckpt-020000',
)
Подробнее
Закрытый контур, 80 эпизодов: 23/80 без фильтра, 29/80 с blend, 30/80 с Kalman, 24/80 с cap.Обучение M6 заняло около 2 ч на RTX 5080 Laptop 16 ГБ при ~10 ГБ VRAM.
Это только симуляция без проверки на реальном роботе; успех сильно ниже скриптового эксперта (30/30 на 0,5–1,0 мм), цель 99/100 не достигнута.
Одна задача и один промпт; обобщение на язык и цвет не обучалось.










Comments