act_pick-and-place-b601
нейросеть для перекладывания деталей роботом
2 min readupdated
Готовая политика управления (алгоритм действий) для роборуки rebot_b601_follower, обученная на базе архитектуры ACT (Action Chunking with Transformers — трансформер, который предсказывает сразу короткую серию движений вместо одного шага). Модель создана автором chenproject35 с помощью фреймворка LeRobot методом имитационного обучения: она повторяет действия оператора, который управлял роботом вручную. На вход нейросеть получает картинку с двух камер и текущее состояние приводов, а на выходе выдаёт вектор из 7 управляющих команд для захвата детали inreach2 и её установки в оснастку. Подойдёт робототехникам и энтузиастам LeRobot, которые работают с совместимыми манипуляторами или дообучают политики под задачи сортировки и сборки.
Ключевые особенности
- Работает со стереозрением в связке: принимает изображения 640×480 с фронтальной камеры (
cam_front) и камеры на запястье (cam_wrist), а также вектор состояния робота размерностью 7. - Обучена на 85 записанных эпизодах (82 067 кадров при 30 FPS) с использованием подхода DAgger (интерактивного дообучения с участием человека).
- Компактный размер — всего 0.05B параметров (50 млн), благодаря чему политика способна работать в реальном времени с частотой 30 Гц.
- Распространяется под свободной лицензией Apache 2.0 и полностью совместима с LeRobot версии 0.6.2.
Что можно сделать
- Запустить автономное выполнение операции «взять деталь и поместить в кондуктор» на роботе
rebot_b601_followerс двумя USB-камерами. - Использовать модель как отправную точку или референс при сборке собственных датасетов формата HIL/DAgger для точного позиционирования мелких объектов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port= \
--policy.path=chenproject35/act_pick-and-place-b601-hil-72ep-yaw0-dagger-r1_hil_36ep_dagger_r1 \
--task="Pick up inreach2 and place it in the jig." \
--duration=60
Подробнее
Обучение: 27 864 шага, batch size 32, оптимизатор AdamW, learning rate 1e-05, seed 1000.Датасет:
chenproject35/pick-and-place-b601-hil-72ep-yaw0-dagger-r1 (85 эпизодов, 82 067 кадров, 30 FPS).Ограничения: результаты замеров успешности на реальном роботе в карточке пока не опубликованы; для запуска требуются камеры с именами и разрешением (640×480), совпадающими с обучающими.










Comments