JAM-RoboTwin-Small-AbsPose

JAM-RoboTwin-Small-AbsPose — инференс-чекпоинт от Mengmouxu для робототехнической задачи RoboTwin. Модель предсказывает бимануальные цели в мировых координатах — [xyz, quaternion wxyz, gripper] — по трём RGB-камерам и языковой инструкции. Архитектура включает DINOv3 Small, 384-D state, 12-layer Predictor и 4-layer Actor.

💪 Ключевые особенности

• 🐾 Вход — три RGB-камеры и языковая инструкция; выход — бимануальные цели [xyz, quaternion wxyz, gripper] в мировых координатах.
• 💪 DINOv3 Small как backbone, 384-D state, 12-layer Predictor и 4-layer Actor.
• 👀 Не использует измеренную проприоцепцию и историю действий.
• 🤫 Это EMA-чекпоинт после 50 эпох / 50 000 батчей; сохранены все 864 EMA-тензора и буфера, включая статистики нормализации действий.
• 👉 Для инференса не нужно отдельно скачивать веса DINOv3/SigLIP: в backbones/ только конфиги и токенизатор.
• 💃 Только для инференса: оптимизаторы, планировщики, non-EMA веса и датасеты исключены; тренировку с этого экспорта не возобновить.

😉 Пример

Сценарий из карточки: на вход подаются три RGB-кадра и текстовая инструкция, на выходе — бимануальные целевые позы для робота. Чекпоинт рассчитан на запуск в окружении RoboTwin с CuRobo и SAPIEN; код и точные пины — в приватном GitHub-репозитории автора.