smolvla_full_sim_1234

Это компактная vision-language-action модель SmolVLA на 0.45B параметров, дообученная от lerobot/smolvla_base. Политика управляет роботом so_follower по трём камерам и 6-мерному состоянию, а на выходе даёт 6-мерное действие. Обучена в симуляции перемещать плоскогубцы, молоток и отвёртку из зелёной зоны в красную.

🔥 Ключевые особенности

• 🔥 Файнтюн SmolVLA для LeRobot: 20 000 шагов, batch size 64, AdamW, learning rate 1e-5.
• 👀 Входы: состояние (6,) и три изображения (3, 256, 256) с камер camera1–camera3.
• 💪 Выход: вектор действия (6,); тип робота — so_follower.
• 😐 Датасет: 423 эпизода, 307 360 кадров при 30 FPS; четыре задачи с инструментами.
• 🤫 Оценки пока нет: в карточке не приведены результаты на реальном роботе.

👉 Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --policy.path=JanPhilipp/smolvla_full_sim_1234 \
  --task="Move the pliers from the green area to the red area" \
  --duration=60

Подробнее

Бенчмарков нет: карточка прямо указывает, что результаты оценки не предоставлены.
Обучение: 20 000 шагов, batch size 64, AdamW, lr 1e-5; датасет — 423 эпизода и 307 360 кадров при 30 FPS.
Политика рассчитана на so_follower с тремя камерами 256×256 и 6-мерным action; имена камер должны совпадать с observation keys.
Это симуляционный файнтюн под конкретные задачи, без проверки на реальном роботе.