EBT-политика для Franka

Чекпоинт от jalal06: EBT (energy-based transformer) policy для реальной задачи Franka Panda «Hang the mug on the holder». Модель объединяет CLIP ViT-B/16 и energy transformer, использует зрение и проприоцепцию; 0,26 млрд параметров. Обучена на 66 телеоперационных демонстрациях в LeRobot v3.

🔎 Ключевые особенности

• 📸 Два видеопотока: observation.images.main и observation.images.wrist, 400×224 RGB в [0,1]; внутри CLIP — 224×224.
• ⌨ На вход также идёт observation.state размерности 14-D: суставы + поза кисти, без ширины гриппера; используется 2 кадра наблюдения.
• 🎯 Выход: чанки по 18 действий, выполняются 16; действие — смещение от измеренной позы кисти до цели, исполняется через deoxys OSC_POSE.
• ⚙ Для загрузки нужны LeRobot 0.5.2 и плагин lerobot_policy_ebt.
• ❗ На реальном роботе модель пока не evaluated — это обученный чекпоинт без проверки на железе.

🎬 Пример

Сценарий из карточки: на вход подаются два кадра с основной и wrist-камеры и 14-мерный вектор состояния; политика возвращает 18 действий. Каждое действие нужно складывать с позой кисти, измеренной в момент отправки, а не в начале чанка. Гриппер: 0 — закрыт, 1 — открыт.

Подробнее

Обучение: 66 демо (62 train / 4 val), 26 708 кадров при 20 Hz; чекпоинт — шаг 13 910, около 100 проходов, batch 192.
Вход: два кадра 400×224 RGB и 14-D состояние; выход — 18 действий, 16 исполняются.
Запуск: LeRobot 0.5.2 + lerobot_policy_ebt; в config.json путь clip_name надо заменить на openai/clip-vit-base-patch16.
Ограничение: на роботе ещё не evaluated; датасет не на Hub.