smolvla_so101_single_block
политика управления роботом для перекладывания кубика
2 мин чтенияобновлено
Модель представляет собой обученную политику (алгоритм управления действиями робота) для манипулятора типа so_follower (SO-101). Она решает конкретную физическую задачу: по текстовой инструкции и картинке с камер взять кубик и положить его в коробку. В основе лежит компактная VLA-архитектура (Vision-Language-Action — модель, объединяющая зрение, язык и действия) SmolVLA объёмом 0.45B параметров, созданная для работы на потребительском железе. Обучена пользователем freezino с помощью фреймворка LeRobot. Пригодится разработчикам и энтузиастам робототехники для запуска на совместимом манипуляторе или дообучения под свои сценарии.
Ключевые особенности
- Использует визуальные данные с нескольких камер (разрешение 256×256) и вектор состояния робота из 6 значений.
- На выходе выдаёт вектор действий размерностью 6 для управления приводами манипулятора.
- Обучена на датасете
freezino/so101_single_block, состоящем из 50 эпизодов (12 188 кадров при 30 FPS). - Компактный размер 0.45B позволяет запускать модель локально без серверных видеокарт.
Что можно сделать
- Развернуть готовую политику на физическом манипуляторе
so_followerс двумя подключёнными камерами для выполнения задачи перекладывания объекта. - Использовать чекпоинт и конфигурацию обучения в LeRobot как отправную точку для тренировки собственных сценариев захвата и перемещения предметов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ camera1: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, camera2: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=freezino/smolvla_so101_single_block \
--task="Pick up the block and put it in the box." \
--duration=60
Подробнее
Обучение: 20 000 шагов, batch size 64, оптимизатор AdamW, learning rate 0.0001.Версия библиотеки: LeRobot 0.6.2.
Результаты оценки (Evaluation) на реальном роботе в карточке пока не опубликованы.










Комментарии