act_piper_pour_rice
модель управления роботом для переливания риса
2 мин чтенияобновлено
Эта модель представляет собой управляющую политику (policy) для робототехники, обученную с использованием метода ACT (Action Chunking with Transformers — предсказание коротких последовательностей действий вместо отдельных шагов). Решение создано на базе фреймворка LeRobot и натренировано на демонстрационных данных телеуправления для выполнения бытовой задачи. Модель принимает на вход данные о состоянии робота и изображения с трёх камер (ручной, нагрудной и верхней), а на выходе выдает управляющие действия. Она подойдет исследователям и разработчикам, работающим с физическими роботами-манипуляторами и имитационным обучением (imitation-learning).
Ключевые особенности
- Архитектура ACT: Имитационное обучение на основе трансформеров для предсказания чанков действий.
- Мультимодальный ввод: Использование данных с трёх различных камер высокого разрешения.
- Датасет обучения: Натренировано на специализированном наборе данных из 30 эпизодов (48 715 кадров).
- Интеграция с LeRobot: Полная совместимость с экосистемой LeRobot для развертывания и дообучения.
Что можно сделать
- Запустить на роботе: Применить готовую политику для выполнения задачи переливания риса на совместимом роботе-манипуляторе через командную строку LeRobot.
- Дообучить модель: Использовать конфигурацию и датасет для тренировки собственной политики с помощью утилит LeRobot.
Пример
Запуск готовой политики на реальном роботе с помощью утилиты из состава LeRobot:
lerobot-rollout \
--strategy.type=base \
--robot.type= \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=advanced-control/act_piper_pour_rice \
--task="task" \
--duration=60Подробнее
Лицензия: apache-2.0Оптимизатор: adamw (learning rate: 1e-05, batch size: 8)
Шаги обучения: 100 000 при частоте кадров 15 FPS
Размерность входов: состояние (7,), изображения (3, 360, 640)
Размерность выходов: действия (7,)










Комментарии