pi05_black_box_ft2
политика для захвата чёрной коробки на базе π₀.₅
2 мин чтенияобновлено
Модель представляет собой дообученную VLA-политику (Vision-Language-Action — нейросеть, которая связывает визуальные данные, текстовую команду и физические действия) для управления роботом-манипулятором so_follower. На вход она принимает изображения с камер и текущее состояние суставов, а на выходе генерирует вектор из 6 действий для выполнения задачи «Pick up the black box» (поднять чёрную коробку). Основана на 4.14B-модели lerobot/pi05_base от Physical Intelligence в адаптации под фреймворк LeRobot. Пригодится разработчикам и энтузиастам робототехники, работающим с открытыми платформами на базе LeRobot.
Ключевые особенности
- Работает с визуальными входами размером
(3, 224, 224)и вектором состояния робота размерности(32,). - Настроена под конфигурацию робота
so_followerс использованием камерwristиleft. - Обучена на датасете
tarunmatta/pick_up_black_box_smolvlaиз 40 эпизодов (8848 кадров при частоте 10 FPS). - Полностью совместима с CLI-инструментами библиотеки LeRobot версии 0.7.1 для инференса и дальнейшего обучения.
Что можно сделать
- Запустить готовую политику на физическом манипуляторе
so_followerдля отработки захвата и подъёма чёрной коробки. - Использовать чекпоинт как отправную точку или референс при настройке собственных сценариев имитационного обучения (imitation learning) в LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, left: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=tarunmatta/pi05_black_box_ft2 \
--task="Pick up the black box" \
--duration=60
Подробнее
Обучение: 40000 шагов, batch size 16, оптимизатор AdamW, learning rate 2.5e-05, seed 1000.Лицензия: gemma.
Результаты оценки на реальном роботе в карточке пока не опубликованы.










Комментарии