JAM-RoboTwin-Small-AbsPose
чекпоинт бимануальной политики для RoboTwin
2 min read
JAM-RoboTwin-Small-AbsPose — инференс-чекпоинт от Mengmouxu для робототехнической задачи RoboTwin. Модель предсказывает бимануальные цели в мировых координатах — [xyz, quaternion wxyz, gripper] — по трём RGB-камерам и языковой инструкции. Архитектура включает DINOv3 Small, 384-D state, 12-layer Predictor и 4-layer Actor.
Ключевые особенности
- Вход — три RGB-камеры и языковая инструкция; выход — бимануальные цели
[xyz, quaternion wxyz, gripper]в мировых координатах. - DINOv3 Small как backbone, 384-D state, 12-layer Predictor и 4-layer Actor.
- Не использует измеренную проприоцепцию и историю действий.
- Это EMA-чекпоинт после 50 эпох / 50 000 батчей; сохранены все 864 EMA-тензора и буфера, включая статистики нормализации действий.
- Для инференса не нужно отдельно скачивать веса DINOv3/SigLIP: в
backbones/только конфиги и токенизатор. - Только для инференса: оптимизаторы, планировщики, non-EMA веса и датасеты исключены; тренировку с этого экспорта не возобновить.
Пример
Сценарий из карточки: на вход подаются три RGB-кадра и текстовая инструкция, на выходе — бимануальные целевые позы для робота. Чекпоинт рассчитан на запуск в окружении RoboTwin с CuRobo и SAPIEN; код и точные пины — в приватном GitHub-репозитории автора.
Подробнее
Публичных бенчмарков в карточке нет; проверка — совпадение 39 массивов с golden trace на A100.Инференс: FP32, Python 3.11.15, Torch 2.6.0+cu124, Transformers 5.5.3, SAPIEN 3.0.0b1, CuRobo v0.7.8.
Код и окружение — в приватном GitHub-репозитории, нужен доступ.
Лицензия для upstream-весов и RoboTwin/CuRobo не объявлена; полная оценка Clean50 не заявлена.










Comments