act_so101_saronic_wristcam_25_eps
политика управления роботом для перекладывания предметов
2 мин чтенияобновлено
Модель представляет собой политику имитационного обучения (обучения на демонстрациях оператора) на базе архитектуры ACT (Action Chunking with Transformers — метод предсказания сразу коротких последовательностей действий вместо одиночных шагов). Она создана автором drdonv с помощью фреймворка LeRobot и предназначена для манипулятора типа so_follower с шестью степенями свободы. На вход нейросеть получает текущее состояние приводов и видеопоток сразу с двух камер (верхней и установленной на запястье), а на выходе формирует вектор управляющих действий для захвата объекта и его переноса в целевую зону. Решение пригодится разработчикам и энтузиастам робототехники, работающим с совместимыми манипуляторами на базе LeRobot.
Ключевые особенности
- Поддержка двух ракурсов: модель одновременно анализирует изображения с верхней камеры (
top) и камеры на запястье (wrist) в разрешении 640×480. - Целевая задача: политика обучена выполнять конкретный сценарий — «взять объект и поместить его в целевую зону».
- Компактный размер: вес модели составляет около 0.05B параметров, что делает её лёгкой для развёртывания на локальном оборудовании робота.
- Интеграция с LeRobot: полностью совместима со стандартными инструментами запуска
lerobot-rollout(версия библиотеки 0.6.1).
Что можно сделать
- Запустить автономное выполнение задачи перекладывания предметов на физическом манипуляторе
so_followerс двумя подключёнными камерами. - Использовать чекпоинт как отправную точку или референс при сборке собственных датасетов телеуправления и дообучении политик ACT в среде LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=drdonv/act_so101_saronic_wristcam_25_eps \
--task="Pick up the object and place it in the target zone" \
--duration=60Подробнее
Обучение: 40 000 шагов (batch size 8, оптимизатор adamw, learning rate 1e-05) на датасетеdrdonv/so101_saronic_wristcam_25_eps (25 эпизодов, 8454 кадра при 30 FPS).Метрики оценки: результаты тестирования на реальном роботе в карточке пока не опубликованы.
Лицензия: Apache-2.0.










Комментарии