pi05_cube2cross_v2_fp32_vlm_lr05
политика управления роботом для сортировки кубиков
2 min readupdated
Модель предназначена для управления роботизированной рукой (ur5e_hand_e): она получает изображение с двух камер и текущее состояние суставов, а на выходе генерирует команды движения для захвата и переноса объектов. В основе лежит lerobot/pi05_base — адаптация Vision-Language-Action модели π₀.₅ (архитектура, объединяющая зрение, понимание текстовых команд и генерацию действий) на 4,14 млрд параметров, дообученная автором felsager в библиотеке LeRobot. В отличие от базовой версии, этот чекпоинт настроен на конкретную задачу выбора разноцветных кубиков по текстовой инструкции и их укладки на красный крест. Пригодится разработчикам и исследователям в области робототехники, работающим с манипуляторами Universal Robots UR5e и фреймворком LeRobot.
Ключевые особенности
- Мультимодальный ввод: одновременно анализирует видеопоток с верхней камеры (
top) и камеры на запястье (wrist) разрешением 640×480, а также вектор состояния робота размерностью 10. - Управление по текстовым командам: понимает естественные инструкции, различая цвета объектов (синий, зелёный, жёлтый и красный кубики).
- Обучение на крупном датасете: дообучена на наборе
felsager/vla_cubes_cross_v2, включающем 1000 эпизодов и 493 474 кадра с частотой 30 FPS. - Готовность к запуску: интегрирована в экосистему LeRobot (версия 0.6.2) и запускается стандартной CLI-командой
lerobot-rollout.
Что можно сделать
- Запустить на реальном роботе: развернуть политику на стенде с манипулятором
ur5e_hand_eи двумя камерами для автоматического перекладывания кубиков на целевую метку. - Использовать как отправную точку: взять конфигурацию обучения (30 000 шагов, learning rate 5e-05) и дообучить модель на собственных записях манипуляций с другими предметами.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=ur5e_hand_e \
--robot.port= \
--policy.path=felsager/pi05_cube2cross_v2_fp32_vlm_lr05 \
--task="pick up the blue cube and place it on the red cross." \
--duration=60
Подробнее
Обучение: 30 000 шагов, batch size 8, оптимизатор AdamW, learning rate 5e-05, seed 0.Оценка: метрики успешности выполнения на реальном роботе в карточке пока не опубликованы.
Лицензия: gemma; для работы требуется настройка портов робота и двух камер (640×480, 30 FPS).










Comments