SO101 red/green SmolVLA v2

Это финальный inference-чекпоинт SmolVLA для робота SO101, обученный двум командам: положить зелёный или красный кубик в бумажную миску. Модель содержит 450 046 176 параметров, сохранена в FP32, базируется на lerobot/smolvla_base и использует библиотеку lerobot. Это ограниченный tabletop-эксперимент, а не универсальная робомодель.

📌 Ключевые особенности

• ⚙ Fine-tune SmolVLA на 20 000 шагов: VLM заморожен, обучались expert/state projection.
• 💬 Две инструкции: Put the green cube into the paper bowl и Put the red cube into the paper bowl.
• 🖥 SO101 state/action размерности 6; wrist и side RGB — 640×480 при 20 fps; policy переименовывает wrist→camera1, side→camera2.
• 📊 Валидация на 23 145 кадрах: финальный flow loss green 0.4627, red 0.4275; это не real-world success rate.
• 🔒 Пройдены CPU strict reload и train-fitted processor-stat identity.

💡 Пример

python prepare_runtime.py /path/to/downloaded-model /path/to/runtime-model
CHECK_ONLY=1 ./rollout_smolvla.sh eval-v2-preflight 1 /path/to/runtime-model

Подробнее

Бенчмарки: на исторических раскладках C2/C3 — 11/12 (green 5/6, red 6/6); на novel-position screen — 9/16 (green 2/8, red 7/8).
Оценка получена offline visual review записанных видео, только 2 повтора на novel-условие; заявлений о широкой генерализации нет.
Нужен проект SmolVLA LeRobot 0.6.1 и FP32; лицензия для fine-tuned weights и записей не указана, условия upstream сохраняются.