act_stack_c50_h200_80k
политика для робота-манипулятора
2 мин чтенияобновлено
Модель обучена с помощью алгоритма ACT (Action Chunking with Transformers — метод имитационного обучения, предсказывающий короткие последовательности действий вместо единичных шагов) и библиотеки LeRobot для управления роботом типа so_follower. Задача модели — складывать красные, желтые и фиолетовые кубики на специальную отметку на столе. Политика принимает на вход состояние робота и изображение с запястной камеры высокого разрешения, выдавая управляющие сигналы. Она обучена на датасете из 74 эпизодов и пригодится исследователям в области робототехники, использующим оборудование совместимое с экосистемой LeRobot.
Ключевые особенности
- Робототехника: Создана для реального робота-манипулятора so_follower.
- Компьютерное зрение: Использует данные с запястной камеры (`observation.images.wrist`) с разрешением 640x480.
- Архитектура ACT: Предсказывает последовательности действий (action chunks) на основе имитационного обучения.
- Датасет: Обучена на 74 эпизодах (более 100 тыс. кадров) для задачи сортировки цветных кубиков.
Что можно сделать
- Запустить на роботе: Выполнить задачу укладывания кубиков с помощью команды `lerobot-rollout`.
- Изучить обучение: Использовать конфигурацию для тренировки собственных политик управления манипулятором.
- Проанализировать датасет: Ознакомиться с демонстрацией данных через визуализаторы Hugging Face Spaces.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=asma-4a/act_stack_c50_h200_80k \
--task="Stack the red, yellow and purple cubes on the table mark" \
--duration=60Подробнее
Шагов обучения: 80000Размер батча: 32
Оптимизатор: adamw (learning rate: 1e-05)
Версия LeRobot: 0.7.1
Входные признаки: observation.state (6,) и observation.images.wrist (3, 640, 480)










Комментарии