dp_pick_cube2
модель Diffusion Policy для робота-манипулятора
2 мин чтенияобновлено
Модель обучена с помощью фреймворка LeRobot для управления роботизированной рукой (тип робота so_follower) в задаче захвата черного куба. Она использует метод Diffusion Policy (подход, представляющий управление как генеративный диффузионный процесс), выдавая плавные многошаговые траектории действий для контактных манипуляций. На вход модель принимает состояние робота и изображения с двух камер (над роботом и на запястье), а на выходе выдает управляющие действия (action) размерности 6. Решение пригодится исследователям и инженерам, работающим с реальной робототехникой на базе библиотеки LeRobot.
Ключевые особенности
- Работа с двумя камерами: вид сверху (
overhead) и с запястья (wrist). - Архитектура Diffusion Policy для стабильного и плавного выполнения задач захвата.
- Обучена на датасете из 51 эпизода (22 099 кадров при 30 FPS).
- Полная интеграция с экосистемой LeRobot.
Что можно сделать
- Запустить политику управления на реальном роботе
so_followerдля захвата предметов. - Протестировать инференс модели с помощью скрипта
lerobot-rollout. - Дообучить или запустить тренировку собственной политики на базе этого сетапа.
Пример
Запуск политики на вашем роботе:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=sudori0127/dp_pick_cube2 \
--task="Grab the black cube" \
--duration=60Подробнее
Лицензия: apache-2.0Параметры: 0.28B
Шаги обучения: 200 000, размер батча: 32, оптимизатор: adam, learning rate: 0.0001
Датасет: sudori0127/pick-cube2 (51 эпизод)










Комментарии