act_so101_pick_cube_handson
модель управления роборукой для захвата предметов
2 мин чтения
Эта модель представляет собой управляющую политику (policy), обученную методом ACT (Action Chunking with Transformers — подход имитационного обучения, предсказывающий короткие последовательности действий вместо отдельных шагов). Модель создана для роботов типа so_follower с фронтальной камерой и решает задачу захвата красного кубика с перемещением его в коробку. Обучение проводилось на небольшом наборе данных из 10 эпизодов от автора masato-ka с использованием популярной экосистемы LeRobot. Полезно для разработчиков и энтузиастов, занимающихся практической робототехникой.
Ключевые особенности
- Архитектура ACT: предсказание блоков действий для более плавного и точного управления роботом.
- Работа с визуальными данными: использует входное изображение с фронтальной камеры разрешения 640x480 и текущее состояние суставов робота (6 степеней свободы).
- Готовность к запуску: полностью интегрирована с фреймворком LeRobot для инференса и дообучения.
- Параметры обучения: обучена с использованием оптимизатора AdamW на 20 000 шагов при размере модели около 50M параметров.
Что можно сделать
- Запустить на роботе: применить готовую политику для управления совместимым роботом через скрипт
lerobot-rollout. - Дообучить модель: использовать собранный датасет
so101_pick_cube_handsonдля тренировки собственной версии под свои задачи. - Изучить имитационное обучение: разобрать рабочий пайплайн LeRobot для захвата и перемещения объектов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
--policy.path=masato-ka/act_so101_pick_cube_handson \
--task="Pick up the red cube and place it in the box" \
--duration=60Подробнее
Фреймворк: LeRobot v0.7.1, размер модели ~0.05B параметровДатасет: 10 эпизодов, 4134 кадра (30 FPS)
Гиперпараметры: batch size 8, learning rate 1e-05, seed 1000
Ограничения: результаты оценки на реальном роботе пока не предоставлены автором










Комментарии