diffusion_so101_cube
политика управления роботом для перекладывания кубика
2 мин чтенияобновлено
Модель представляет собой политику управления роботом-манипулятором so_follower (SO-101) для выполнения задачи захвата кубика и его перемещения в контейнер. В основе лежит архитектура Diffusion Policy (диффузионная политика, которая генерирует плавные многошаговые траектории движений на основе визуальных данных), реализованная с помощью фреймворка LeRobot от автора NaH-ReAlLy. Модель на 0.26B параметров принимает текущее состояние суставов и изображение с камеры на запястье, а на выходе выдает векторы действий для моторов. Подойдет разработчикам и энтузиастам робототехники для запуска готового навыка на совместимом манипуляторе или дообучения под похожие задачи.
Ключевые особенности
- Работает с изображением с камеры на запястье робота (разрешение 480×640, 3 канала) и вектором состояния из 6 параметров.
- Формирует плавные траектории управления по 6 степеням свободы, подходящие для задач с физическим контактом объектов.
- Обучена на датасете
shamux/so101_cube_camera, содержащем 51 эпизод и 23 612 кадров при 30 FPS. - Распространяется под открытой лицензией Apache 2.0 и совместима с версией LeRobot 0.6.2.
Что можно сделать
- Запустить готовую политику на физическом роботе
so_followerдля автоматического сбора кубиков в корзину. - Использовать чекпоинт как отправную точку для экспериментов с визуомоторным управлением в экосистеме LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ wrist: {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=NaH-ReAlLy/diffusion_so101_cube \
--task="Pick up the cube and place it in the bin"
Подробнее
Обучение: 47 224 шага, batch size 4, оптимизатор Adam, learning rate 0.0001, seed 1000.Входы и выходы:
observation.state (6,), observation.images.wrist (3, 480, 640) → action (6,).Ограничения: в карточке пока не приведены результаты замеров успешности выполнения на реальном роботе.










Комментарии