act_franka_sweep_v3
политика управления роботом для задачи подметания
2 мин чтенияобновлено
Эта модель представляет собой готовую политику управления для робота-манипулятора, обученную методом ACT (Action Chunking with Transformers — метод имитационного обучения, предсказывающий короткие последовательности действий вместо отдельных шагов). Модель создана для робота Franka Panda и решает задачу подметания оранжевого куба на основе визуальных данных с камер и состояния суставов. Она обучена с помощью библиотеки LeRobot на демонстрационных данных телеоперации и позволяет запускать автономное выполнение задачи на реальном оборудовании.
Ключевые особенности
- Совместимость с роботом Franka Panda кинестического типа.
- Использование двух визуальных потоков с запястной камеры (обычная и глубинная).
- Обучение на датасете из 49 эпизодов (6842 кадра при 10 FPS).
- Построение на архитектуре ACT с использованием фреймворка LeRobot версии 0.6.2.
Что можно сделать
- Запустить готовую политику на реальном роботе Franka Panda для выполнения задачи подметания куба.
- Дообучить или использовать модель в качестве основы для собственных задач имитационного обучения в робототехнике.
Пример
Запуск политики на вашем роботе с помощью команды в терминале:
lerobot-rollout \
--strategy.type=base \
--robot.type=franka_panda_kinesthetic \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=Matghost7/act_franka_sweep_v3 \
--task="Sweep the orange cube" \
--duration=60Подробнее
Датасет: Matghost7/franka_sweep_cube_v3_mergedПараметры обучения: 50 000 шагов, размер батча 8, оптимизатор adamw, learning rate 1e-05
Входные данные: состояние (16,) и изображения запястья 3x480x640
Выходные данные: действия размерности (16,)










Комментарии