TASK_01_bimanual_cube_transfer_teleop_pi05_LoRA
модель управления роборукой
2 мин чтенияобновлено
Новая языково-зрительно-моторная модель (Vision-Language-Action model), созданная на базе архитектуры pi05 от Physical Intelligence для робототехнической платформы LeRobot. Она обучена управлять двуруким роботом для выполнения сложной манипулятивной задачи: поднять кубок правой рукой, перенести его в центр, а затем положить в коробку левой рукой. Модель адаптирована для работы с манипуляторами типа Fairino и обрабатывает данные с трех камер видеонаблюдения вместе с текущим состоянием робота. Полезный инструмент для инженеров и исследователей, занимающихся практическим обучением роботов с помощью имитационного обучения (Imitation Learning).
Ключевые особенности
- Специализация: обучена на задаче точного перемещения предметов двумя руками робота Fairino.
- Мультимодальность: обрабатывает визуальные данные с трех камер (top, left, right) и системные состояния (state).
- Фреймворк LeRobot: полная интеграция с экосистемой Hugging Face LeRobot для обучения и инференса.
- Обучение: модель тренировалась на датасете из 75 эпизодов (49 128 кадров) с использованием оптимизатора AdamW.
Что можно сделать
- Запуск на роботе: применить готовую политику (policy) на реальном роботе Fairino для автоматизации сборки или переноса объектов.
- Анализ данных: изучить датасет демонстраций и структуру движений в обучающих эпизодах через визуализатор LeRobot.
- Дообучение: использовать базовую модель lerobot/pi05_base для создания собственных робототехнических навыков.
Пример
Команда для запуска политики на реальном роботе:
lerobot-rollout \
--strategy.type=base \
--robot.type=Fairino \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=Bekhzod/TASK_01_bimanual_cube_transfer_teleop_pi05_LoRA \
--task="pick up the cube with the right arm, place it in the middle, then put it in the box with the left arm." \
--duration=60Подробнее
Лицензия: apache-2.0Базовая модель: lerobot/pi05_base
Конфигурация обучения: 20 000 шагов, batch size 32, learning rate 0.001, seed 1000
Входные параметры: состояние (14,) и изображения с трех камер (3, 480, 640)
Выходные параметры: вектор действий (14,)










Комментарии