SmolVLA Rebot Merged
сортировка предметов для робота
2 min readupdated
SmolVLA Rebot Merged — это компактная модель типа VLA (vision-language-action, нейросеть, которая связывает изображение с камер и текстовую команду с физическими действиями робота) от автора RoboCrafty. Она создана на базе lerobot/smolvla_base (0.45 млрд параметров) и обучена в фреймворке LeRobot для управления манипулятором rebot_b601_follower. На практике модель принимает данные с трёх камер и текущее состояние приводов, а на выходе выдаёт вектор действий для сортировки бытовых вещей по корзинам. Решение пригодится разработчикам и энтузиастам робототехники, которые строят системы имитационного обучения на доступном железе.
Ключевые особенности
- Построена на компактной архитектуре SmolVLA объёмом 0.45B параметров, рассчитанной на запуск на потребительском оборудовании.
- Использует мультимодальный ввод: одновременно анализирует состояние робота (6 параметров) и видеопоток с трёх камер (
front_wide,gripper,high_oblique) в разрешении 256×256. - Обучена на датасете
RoboCrafty/rebot_sort_merged, включающем 127 эпизодов и 77 631 кадр с частотой 30 FPS. - Понимает текстовые инструкции на английском языке для выбора нужного объекта и цели перемещения.
Что можно сделать
- Запустить готовую политику управления на совместимом роботе-манипуляторе
rebot_b601_followerдля раскладывания бутылок, полотенец и ключей по корзинам. - Использовать веса в качестве отправной точки для дообучения в LeRobot на собственных сценариях сортировки с тремя камерами.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port= \
--policy.path=RoboCrafty/smolvla_rebot_merged \
--task="pick up the bottle and put it in the designated bin" \
--duration=60
Подробнее
Обучение: 20 000 шагов, batch size 128, оптимизатор AdamW (lr 0.0001), LeRobot v0.6.1.Формат выхода: вектор
action размерностью (7,).Ограничения: в карточке пока не опубликованы метрики успешности тестов на реальном роботе; лицензия Apache-2.0.










Comments