act-green-square-test
модель управления роботом для выбора зеленого квадрата
2 мин чтения
Политика управления манипулятором, обученная с помощью фреймворка LeRobot и метода ACT (Action Chunking with Transformers — подход имитационного обучения, предсказывающий короткие последовательности действий вместо одиночных шагов). Модель принимает на вход состояние робота и изображения с двух камер (фронтальной и на захвате) с разрешением 640x480, после чего выдает управляющие векторные команды для выбора целевого объекта. Решение создано для роботов типа so_follower на основе датасета из 29 эпизодов и пригодится разработчикам робототехники, использующим экосистему LeRobot.
Ключевые особенности
- Архитектура ACT: предсказание коротких последовательностей действий вместо пошагового контроля
- Работа с мультимодальными данными: состояние суставов и два потока с камер (фронтальной и на гриппере)
- Обучена на датасете из 29 эпизодов (14 236 кадров при 30 FPS)
- Интеграция с библиотекой LeRobot версии 0.7.1 и оптимизатором adamw
Что можно сделать
- Запустить готовую политику управления на реальном роботе so_follower с помощью команды lerobot-rollout
- Обучить собственную политику на пользовательских демонстрациях движений с использованием скриптов LeRobot
- Настроить параметры камер и порты подключения под аппаратную конфигурацию конкретного робота
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, gripper: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=albarodriguezsalvador/act-green-square-test \
--task="green-square-fix-movement-001 selects the green square between 4 squares"Подробнее
Параметры обучения: 200 шагов, размер батча 8, learning rate 1e-05, seed 1000.Входные признаки: observation.state размерности (6,), изображения front и gripper (3, 480, 640).
Выходные данные: вектор действия action размерности (6,).
Результаты оценки на реальном роботе пока не предоставлены автором.










Комментарии