model_act_test_gazeuse_resnet_15K_18_11
политика для роборуки на базе LeRobot
2 мин чтенияобновлено
Модель использует алгоритм ACT (Action Chunking with Transformers — метод имитационного обучения, предсказывающий короткие пакеты действий вместо единичных шагов) для управления роборукой типа so_follower. На входе политика принимает данные о состоянии суставов и изображения с трёх камер (фронтальной, боковой и верхней), а на выходе формирует управляющие действия. Модель обучена на демонстрациях телеоперации для задачи захвата и перемещения жёлтого маркера в розовую коробку. Она подойдёт исследователям и практикам в области домашней и лабораторной робототехники на фреймворке LeRobot.
Ключевые особенности
- Работа с тремя камерами (front, side, top) с разрешением 480x640
- Предсказание последовательности из 6 управляющих действий (action chunking)
- Совместимость с аппаратной конфигурацией робота so_follower
- Обучение на сетевых демонстрациях с частотой 30 FPS
Что можно сделать
- Запустить готовую политику на реальном роботе so_follower для выполнения задачи сортировки предметов
- Интегрировать модель в свои эксперименты по имитационному обучению через экосистему LeRobot
- Протестировать инференс политики с помощью утилит командной строки LeRobot
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=Tridex/model_act_test_gazeuse_resnet_15K_18_11 \
--task="take the yellow fluo and drop it inside the pink box" \
--duration=60Подробнее
Лицензия: apache-2.0Датасет: 10 эпизодов, 4584 кадра
Параметры обучения: 15000 шагов, batch size 8, оптимизатор adamw, learning rate 1e-05










Комментарии