chunbae27/dp_pick_cube
политика диффузии для роборуки
2 мин чтенияобновлено
Этот чекпоинт реализует Diffusion Policy (метод управления роботами через диффузионные процессы, превращающий визуальные данные и состояние в плавные действия). Модель обучена с помощью библиотеки LeRobot (инструмент для машинного обучения в реальной робототехнике) для задачи перемещения кубика вправо. Она анализирует кадры с двух камер (надголовной и на запястье) и текущее состояние робота. Профиль подойдёт исследователям и инженерам, работающим с роботами типа so_follower.
Ключевые особенности
- База Diffusion Policy: обработка visuomotor-контроля (управления на основе зрения и движений) как процесса генерации для гладких многошаговых траекторий.
- Две камеры: использование потока с обзора сверху и с запястья робота.
- Интеграция с LeRobot: полная совместимость с экосистемой Hugging Face для робототехники.
- Датасет обучения: обучено на 50 эпизодах (chunbae27/pick-cube) общей сложностью 18 472 кадра.
Что можно сделать
- Запустить на роботе: применить политику на физическом манипуляторе so_follower для автоматического захвата и перемещения кубика вправо.
- Дообучить модель: использовать репозиторий датасета для экспериментов с симуляциями или реальным железом через скрипты train.
Пример
Запуск готовой политики инференса (процесса применения обученной модели) на роботе с помощью консольной утилиты LeRobot:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=chunbae27/dp_pick_cube \
--task="Pick up the cube and place it on the right" \
--duration=60Подробнее
• Лицензия: apache-2.0• Шаги обучения: 200 000 при batch size 32
• Оптимизатор: adam с learning rate 0.0001
• Аппаратные требования: робот so_follower, две камеры OpenCV










Комментарии