so101_ball_bin_v3-act
политика захвата и перекладки мяча для робота SO-101
2 мин чтенияобновлено
Модель представляет собой политику управления роботом-манипулятором, обученную методом imitation learning (обучение с подражанием по демонстрациям оператора). Она анализирует положение суставов и картинку с двух камер, чтобы предсказать последовательность действий для захвата зелёного шипастого мяча и перекладки его в белую корзину. В основе лежит архитектура ACT (Action Chunking with Transformers), которая генерирует сразу короткие серии движений вместо одиночных шагов, а само обучение выполнено в фреймворке LeRobot от автора Saurabh-sinha-209. Пригодится разработчикам и энтузиастам робототехники, работающим с манипуляторами типа so101_follower.
Ключевые особенности
- Обучена на датасете из 81 эпизода (43 337 кадров с частотой 30 FPS).
- Принимает на вход вектор состояния из 6 параметров и видеопоток с двух камер (bench и wrist) в разрешении 320×240.
- Выдаёт вектор управления из 6 координат для приводов манипулятора so101_follower.
- Компактный размер около 50 млн параметров и открытая лицензия Apache-2.0.
Что можно сделать
- Запустить готовую политику на совместимом роботе SO-101 с двумя камерами для автоматического сбора мячей в корзину.
- Использовать веса и конфигурацию как отправную точку для дообучения под перекладку других мелких объектов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so101_follower \
--robot.port= \
--policy.path=Saurabh-sinha-209/so101_ball_bin_v3-act \
--task="pick up the green spiky ball and place it in the white bin" \
--duration=60
Подробнее
Обучение: 30 000 шагов, batch size 32, оптимизатор AdamW (lr 1e-05), LeRobot 0.6.0.Ограничения: результаты замеров успешности на реальном роботе в карточке пока не опубликованы.
Для запуска требуются две камеры (bench и wrist) с частотой 30 FPS.










Комментарии