SmolVLA Dice2
нейросеть для управления роботом при броске кубика
2 min readupdated
Компактная VLA-модель (Vision-Language-Action — нейросеть, которая связывает зрение, текстовую команду и действия робота), обученная поднимать шестигранный игральный кубик (D6) и отпускать его над лотком для костей. Политика построена на базе lerobot/smolvla_base (0.45B параметров) в фреймворке LeRobot и рассчитана на запуск на обычном пользовательском железе. В отличие от базовой модели, она дообучена на конкретном сценарии манипуляции с мелким объектом для робота типа so_follower с использованием камер arm и top. Подойдёт разработчикам и энтузиастам робототехники на базе LeRobot как готовая политика для тестов или база для дальнейшего дообучения.
Ключевые особенности
- Решает задачу захвата шестигранного кубика D6 и его сброса над лотком по текстовой команде.
- Компактный размер 0.45B параметров позволяет запускать модель на потребительском оборудовании.
- Принимает состояние робота по 6 степеням свободы и изображения с камер (разрешение 256×256) для предсказания 6-мерного вектора действий.
- Обучена на датасете
phiba/Dice2_20261115_163146из 50 эпизодов (15 331 кадр при 30 FPS).
Что можно сделать
- Запустить готовую политику на собственном роботе-манипуляторе типа
so_followerс двумя камерами для автоматизации броска кубика. - Использовать вес и конфигурацию обучения как референс для создания собственных навыков манипуляции мелкими предметами на базе
lerobot/smolvla_base.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ arm: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, top: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=phiba/smolvla_dice2 \
--task="Picking up a D6 and letting it drop above a dice tray" \
--duration=60Подробнее
Обучение: 20 000 шагов, batch size 64, оптимизатор AdamW, learning rate 0.0001, LeRobot 0.7.0.Оценка: результаты испытаний на реальном роботе в карточке пока не опубликованы.
Лицензия: Apache-2.0.










Comments