SO-101 guided cube pickup

Это RL-политика для робота SO-101: она выполняет этап захвата при stacking кубиков — находит камерой запястья один оранжевый кубик, закрывает гриппер и поднимает его с удержанием на одну секунду. Обучение и оценка шли в MuJoCo с одним случайно размещённым кубиком 25 мм, калиброванным стартом руки и эпизодом до 15 секунд.

🔎 Ключевые особенности

• 📸 Использует полный RGB-кадр с wrist-камеры 720×1280×3 без crop, resize и frame stack.
• 🎯 На входе 20 Гц: шесть позиций суставов, шесть предыдущих целей и шесть скоростей; порядок — shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper.
• ⚙ Возвращает шесть конечных абсолютных целей для follower-суставов; перед этим добавляет детерминированную PPO-коррекцию к демонстрационному движению.
• 🔄 Нужен reset(metadata) раз на эпизод и predict(state) на каждый шаг управления.
• 💻 Инференс — TorchScript actor на CPU; MuJoCo, Stable-Baselines3 и ground-truth координаты кубика не нужны.

💻 Пример

from policy import Policy

policy = Policy()
policy.reset({})
command = policy.predict(state)

Подробнее

Слепой тест: 78/96 (81.3%) захватов с контактом руки и 76/96 (79.2%) строгих удержаний двумя падами.
Первый слепой эпизод завершил строгий pickup за 128 шагов управления (6.4 секунды симуляции).
Обучение: 126 основных и 50 outward-facing демонстрационных траекторий плюс PPO residual в 12 параллельных средах; чекпоинт на 1 013 508 переходах.
Ограничения: оценён только одиночный pickup; размещение, release на стек, несколько кубиков и реальная рука не пр��верялись. Очередь на железо ещё pending, а Jetson-раннер отдаёт crop 128×128, который политика отвергает.