ACT: OpenArm screw picking (v33a-real)

Это LeRobot-чекпоинт ACTPolicy для бимануального OpenArm: робот должен поднять болты и винты и положить их в красный контейнер. Модель обучена на 61 реальном телеоперируемом эпизоде и 91 эпизоде Genesis sim; всего 152 эпизода и 143 275 кадров.

🔥 Ключевые особенности

• 📚 Обучение: 20 эпох, 22 380 шагов при batch size 128, одна H100.
• 📷 Входы: три RGB-камеры head, gripper_a, gripper_b по 3×270×480 и observation.state размером 128.
• 💻 Выход: чанк 32×16 нормализованных действий; исполнение на 25 Hz, действия chained-relative по 8-шаговым сегментам.
• ❌ Статус experimental: в Genesis sim eval за 60 с — 0 из 4 винтов при 113 контактах; на реальном роботе не тестировался.

💻 Пример

Сценарий из карточки: подать изображения с головной и двух кистевых камер, историю движений в observation.state и получить 32×16 действий. Для старта без выполненных действий используются 8 identity-строк: нулевая трансляция, кватернион (1,0,0,0), openings = init_opening.

Подробнее

Бенчмарк: Genesis sim eval, 60 с, фиксированная сцена — 0/4 винтов, 113 контактов.
Обучение: 152 эпизода, 143 275 кадров, 20 эпох (22 380 шагов, batch 128) на одной H100.
Ограничения: experimental; на реальном роботе не проверялся; камеры, кропы и экстринсики камера↔TCP должны совпадать с тренировочной установкой. В sim использовались next-measured-pose цели; при per-segment re-anchoring это даёт недолёт около 1 см.