act_so101_santa_ducky_v1_toponly
модель управления роботом для задачи захвата игрушки
2 мин чтенияобновлено
Новая управляющая модель (policy) создана с помощью библиотеки LeRobot на базе архитектуры ACT (Action Chunking with Transformers — метод обучения с подражанием, предсказывающий короткие последовательности действий вместо отдельных шагов). Модель обучена для робота типа so_follower и принимает на вход состояние робота и изображение с верхней камеры, чтобы предсказывать управляющие действия. Она решает конкретную практическую задачу по захвату и перемещению игрушечного объекта на тарелку. Модель пригодится исследователям и практикам, работающим с роботизированными манипуляторами и библиотекой LeRobot.
Ключевые особенности
- Построена на базе архитектуры ACT для последовательного предсказания действий робота
- Использует данные с верхней камеры и текущее состояние манипулятора
- Обучена на демонстрационном датасете объемом 58 эпизодов (15558 кадров при 30 FPS)
- Тренирована с использованием оптимизатора AdamW в течение 40000 шагов
Что можно сделать
- Запустить готовую модель на совместимом роботе
so_followerдля выполнения задачи перемещения предмета - Использовать датасет демонстраций для дообучения собственных моделей манипуляции
- Настроить конфигурацию запуска через командную строку с помощью утилит LeRobot
Пример
Запуск политики на вашем роботе:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=boinkie/act_so101_santa_ducky_v1_toponly \
--task="Pick up the santa ducky and place it in the plate" \
--duration=60Подробнее
Задача: захватить утиного санту и положить на тарелку.Тип робота:
so_follower с камерами wrist и top.Параметры обучения: Batch size 8, Learning rate 1e-05, Seed 1000, LeRobot версии 0.6.2.
Объем данных: 58 эпизодов, 15558 кадров, частота 30 FPS.










Комментарии