act_pick_and_place_tape_final_chunk50
политика перекладывания предметов для робота SO-Follower
2 мин чтенияобновлено
Компактная нейросетевая политика на 0.05B параметров для робототехники, обученная с помощью фреймворка LeRobot от автора knight7024. Модель решает задачу pick_and_place_tape: робот должен захватить объект и переложить его в целевую точку, ориентируясь по показаниям датчиков и двум камерам. В основе лежит архитектура ACT (Action Chunking with Transformers — метод имитационного обучения, который предсказывает сразу короткие последовательности действий вместо одиночных шагов). Вместе с этой версией автор также опубликовал варианты chunk10 и chunk100. Модель пригодится разработчикам и энтузиастам, которые экспериментируют с манипуляторами so_follower и библиотекой LeRobot.
Ключевые особенности
- Имитационное обучение ACT: предсказывает блоки действий (action chunks) на основе данных телеуправления, что помогает плавнее выполнять манипуляции.
- Мультимодальные входы: принимает вектор состояния робота
observation.stateразмером (6,) и видеопоток с двух камер — верхней (top, 240×320) и на запястье (wrist, 480×640). - Точное управление: на выходе модель формирует 6-мерный вектор действий
actionдля управления приводами манипулятора. - Выбор горизонта планирования: помимо версии
chunk50доступны чекпоинты на 10 и 100 шагов для сравнения поведения робота.
Что можно сделать
- Запустить на реальном манипуляторе: развернуть политику на роботе типа
so_followerс двумя подключёнными камерами для отработки базового захвата и переноса предметов. - Сравнить длину чанков: протестировать
chunk50в связке с соседними чекпоинтами (chunk10иchunk100) на одинаковой задаче и оценить плавность движений. - Использовать как отправную точку: взять за основу конфигурацию и датасет
knight7024/pick_and_place_tape_finalдля дообучения под собственные сценарии в LeRobot 0.6.0.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 320, height: 240, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=knight7024/act_pick_and_place_tape_final_chunk50 \
--task="pick_and_place_tape" \
--duration=60
Подробнее
Обучена на датасетеknight7024/pick_and_place_tape_final: 50 эпизодов, 16 278 кадров с частотой 30 FPS.Параметры обучения: 100 000 шагов, batch size 1, оптимизатор AdamW (lr 1e-05), seed 1000, LeRobot 0.6.0.
Ограничения: результаты тестирования на реальном роботе в карточке пока не опубликованы; лицензия Apache-2.0.










Комментарии