SmolVLA-peg-insertion

Это файнтюн SmolVLA на базе lerobot/smolvla_base для манипулятора SO-101 в MuJoCo. Модель учится вставлять штифт диаметром 20 мм в отверстие с радиальным зазором 0,25–2 мм. Сделана в рамках учебного robotics-задания.

👀 Ключевые особенности

• 🐾 VLM заморожен, обучаются action expert и проекция состояния.
• 💪 Обучение на 1 339 успешных эпизодах скриптового демонстратора с domain randomization по физике и визуалу.
• 👀 На входе 5 углов суставов и gripper 0–100, камеры overhead и wrist 640×480; на выходе 6 абсолютных целей суставов на 30 Гц.
• 💅 Рекомендуется перепланировать каждые 10 действий: на зазорах 0,25–1,5 мм это дало 81 успех из 100 против 57% при полных 50-шаговых чанках.

🍒 Пример

Сценарий: подать состояние суставов и изображения с двух камер, задача — Insert the peg into the hole. Модель выдаёт 6 целевых углов суставов; для точной вставки действия перепланируют каждые 10 шагов.

Подробнее

Успех на тесных зазорах: 81/100 при перепланировании каждые 10 действий.
Обучение: batch 16, 30 000 шагов, lr 1e-4, chunk size 50, лимит 8 GB GPU.
Ограничение: только симуляция, на реальном роботе модель не тестировалась.