bento_ur7e_fineart_v2

Это файнтюн политики FineART-VLA (метод от Scale AI и Hugging Face) для робота ur7e. Модель на 4.14B параметров предсказывает следующую подзадачу на языке и выполняет её flow-matching action expert, а knowledge insulation защищает предобученный VLM при дообучении.

⚙ Ключевые особенности

• ⚙ Двухуровневая схема: языковая голова планирует следующую подзадачу (System 2), action expert исполняет её (System 1).
• 🖥 Обучена под ur7e с камерами top и wrist: на входе состояние (14,) и три изображения 3×360×640, на выходе 7-мерное действие.
• 📊 Датасет bento_ur7e_v5: 377 эпизодов, 767 361 кадр при 60 FPS; задачи — собрать ланчбокс с курицей и брокколи или с рыбой и сосисками.
• 🔄 80 000 шагов обучения, batch size 16, AdamW, learning rate 5e-5, LeRobot 0.6.2.
• 🛡 Knowledge insulation защищает предобученный VLM от деградации во время файнтюна.

💡 Пример

Фрагмент запуска политики на роботе; имена камер в --robot.cameras должны совпадать с top и wrist.

lerobot-rollout \
  --strategy.type=base \
  --robot.type=ur7e \
  --robot.port=<your_robot_port> \
  --policy.path=polarisai-robots/bento_ur7e_fineart_v2 \
  --task="Pack me a lunchbox with two fried chicken pieces and two brocolli." \
  --duration=60

Подробнее

Бенчмарков нет: карточка не приводит результаты оценки.
Параметров — 4.14B; лицензия — gemma.
Дообучение: 80k шагов, batch 16, AdamW, lr 5e-5, seed 1000, LeRobot 0.6.2.
Ограничение: политика обучена под конкретного робота ur7e и задачи сборки ланчбокса; перенос на другие сценарии не описан.