VAM-Cross World2Action
декодер действий для KUKA iiwa14
1 min readupdated
Публичный чекпоинт World2Action-декодера из итерации 1800 запуска VAM-Cross/MimicVideo для робота KUKA iiwa14. Это не готовая end-to-end система, а вес декодера действий: он работает с замороженными Video2World backbone и Video LoRA. В карточке указаны контракт данных и действий, но нет бенчмарков.
Ключевые особенности
- World2Action-декодер для KUKA iiwa14 в стеке MimicVideo.
- Две камеры:
observation.images.corner_camиobservation.images.front_cam. - Цель — 15 действий achieved-EE/gripper на 5 Гц.
- Поза задаётся
relative_to_current_achieved_poseвwidowx_reference_base/teleop_aligned_tool, поворот —rotation_6d. - В репозитории есть pinned JSON и эффективный
config.yaml; датасет и frozen-входы не включены.
Пример
Сценарий из карточки: на входе — наблюдения с corner_cam и front_cam, на выходе — 15 действий achieved-EE/gripper на 5 Гц. Поза считается relative_to_current_achieved_pose в widowx_reference_base/teleop_aligned_tool, поворот — rotation_6d.
Подробнее
Бенчмарков в карточке нет.Обучение: итерация 1800; 256 эпизодов и 54 376 кадров.
Две камеры, 15 действий на 5 Гц.
Датасет и frozen-входы не включены; запуск остановлен с
unknown.









Comments