smolvla pill_sorting_colour_cf_swap_mix_ft_v2

Это компактная vision-language-action политика SmolVLA, дообученная TomasAnderegg в LeRobot для робота so_follower. Модель получает состояние и изображение с фронтальной камеры и выдаёт команды действий; по метаданным — около 0,45 млрд параметров.

👁 Ключевые особенности

• 🦾 Compact VLA-политика на базе SmolVLA, рассчитанная на consumer-grade железо.
• 👁 Вход: observation.state формы (6,) и изображение observation.images.front (3, 480, 640).
• ✅ Выход: action формы (6,).
• 🔥 Обучена на 116 эпизодах / 52 064 кадрах при 30 FPS в датасете pill_sorting_colour_cf_swap_mix_v2.
• ⬇ 16 задач: разложить синюю, красную, жёлтую или зелёную таблетку в квадратное, круглое, треугольное или крестовое отделение.

🔥 Пример

lerobot-rollout --strategy.type=base --robot.type=so_follower --robot.port=<your_robot_port> --robot.cameras="{ front: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}" --policy.path=TomasAnderegg/pill_sorting_colour_cf_swap_mix_ft_v2 --task="Put the blue pill in the square compartment." --duration=60

Подробнее

Лицензия Apache-2.0; дообучение от TomasAnderegg/pill_sorting_full_ft_a100_v3_dagger60.
Обучение: 4000 шагов, batch size 64, AdamW, learning rate 1e-5, seed 1000.
Робот so_follower, одна камера front; данные о требованиях к VRAM в карточке не указаны.
Опубликованных результатов оценки пока нет.