pi05_fairino_bimanual_cube_transfer_teleop_model
двурукая манипуляция кубиком для роботов Fairino
2 мин чтенияобновлено
Политика управления (набор правил поведения для робота) на 4.14B параметров, обученная для роботов платформы Fairino в фреймворке LeRobot. Модель построена на базе lerobot/pi05_base — Vision-Language-Action (VLA, архитектура, объединяющая зрение, понимание текстовых команд и генерацию действий) модели π₀.₅ от Physical Intelligence, созданной для работы в незнакомых условиях. На практике она принимает данные с трёх камер и текущее состояние манипуляторов, а на выходе выдаёт вектор действий по 14 степеням свободы для перекладывания кубика двумя руками. Пригодится исследователям робототехники и разработчикам, использующим LeRobot и двурукие установки Fairino.
Ключевые особенности
- Работает с тремя видеопотоками (
top,left,rightв разрешении 640×480) и 14-мерным вектором состояния робота. - Обучена на датасете из 50 эпизодов телеуправления (35 944 кадра с частотой 30 FPS) для выполнения последовательной задачи.
- Основана на архитектуре π₀.₅, адаптированной в репозитории LeRobot версии 0.6.1, и распространяется под открытой лицензией Apache-2.0.
Что можно сделать
- Запустить на двуруком роботе Fairino для автоматического захвата кубика правой рукой, перемещения его в центр и укладки в коробку левой рукой.
- Использовать как отправную точку или референс при дообучении политик π₀.₅ под собственные сценарии бимануального телеуправления в LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=Fairino \
--robot.port= \
--policy.path=Bekhzod/pi05_fairino_bimanual_cube_transfer_teleop_model \
--task="pick up the cube with the right arm, place it in the middle, then put it in the box with the left arm."
Подробнее
Обучение: 20 000 шагов, batch size 32, оптимизатор AdamW, learning rate 2.5e-05, seed 1000.Входы и выходы: состояние и действия размером (14,), три RGB-камеры (3, 480, 640).
Ограничения: результаты оценки (evaluation) на реальном роботе в карточке пока не представлены.










Комментарии