gaze_act

gaze_act — это policy на 0.05B параметров от fecasado, обученная в LeRobot для робота blueberry_ros. Она выполняет две задачи: достать ломтик хлеба из тостера и положить его на тарелку или поверх сэндвича. На вход подаются изображения с камер right, left, user и 55-мерное состояние; выход — 26-мерный вектор действия.

🎯 Ключевые особенности

• 🎯 Обучена под конкретного робота blueberry_ros; в карточке также указана камера user_gaze.
• 📸 Вход: три изображения 240×320 и observation.state размерности 55.
• 🕹 Выход: action размерности 26.
• 🗂 Датасет: 115 эпизодов, 75 032 кадра, 15 FPS; две задачи с тостами.
• ⚙ Обучение: 100 000 шагов, batch 128, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.1.
• 🚫 Оценки на реальном роботе в карточке нет.

⌨ Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=blueberry_ros \
  --robot.port=<your_robot_port> \
  --policy.path=fecasado/gact-kitchen-toasts-multi \
  --task="Take one slice of bread out of the toaster and place it on the empty plate" \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано «No evaluation results».
Данные: 115 эпизодов, 75 032 кадра, 15 FPS.
Обучение: 100 000 шагов, batch 128, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.1.
Ограничения: политика заточена под blueberry_ros и конкретные камеры; переносимость не проверена.