rimur01/diffusion_so101_assignment4_50k
политика диффузии для робототехнического манипулятора
2 мин чтения
Модель реализует алгоритм Diffusion Policy (подход, где управление роботом строится как процесс генерации последовательности плавных действий) для робота-манипулятора типа so_follower. На обученном наборе данных из 50 эпизодов модель управляет захватом и перемещением объектов в целевую зону по кадрам с двух камер и состоянию суставов. Она создана с помощью библиотеки LeRobot для имитационного обучения в реальной робототехнике. Решение подойдет исследователям и разработчикам, которые тестируют роборуки на базе открытых компонентов.
Ключевые особенности
- Diffusion Policy: генерация многошаговых плавных траекторий для задач контактного манипулирования
- Мультимодальный вход: обработка состояния робота (6 мер) и изображения с двух камер (cam0, cam1) формата 3x480x640
- Совместимость с роботом: нативная интеграция под тип робота so_follower
- Инструмент LeRobot: обучение и запуск через экосистему Hugging Face LeRobot версии 0.6.0
Что можно сделать
- Запустить политику на реальном роботе-манипуляторе so_follower через консольную утилиту LeRobot
- Протестировать задачу подъема и переноса объектов в целевую область
- Настроить параметры инференса с захватом видеопотока с двух USB-камер
- Использовать датасет
rimur01/so101-assignment1-50-newдля дообучения собственных вариаций политики
Пример
Запуск готовой политики инференса на роботе через командную строку:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=rimur01/diffusion_so101_assignment4_50k \
--task="Pick up an object and place it in a target area" \
--duration=60Подробнее
Лицензия: apache-2.0Шагов обучения: 50000 при размере батча 1
Оптимизатор: adam (learning rate: 0.0001, seed: 1000)
Датасет: 50 эпизодов, 15000 кадров при 15 FPS










Комментарии