OpenWAM IDM CF64k
управление роботом из воображаемого будущего
2 min readupdated
OpenWAM IDM CF64k — компонент системы управления роботом: по текущим кадрам с agent- и wrist-камер, данным проприоцепции и короткому «будущему» видео он предсказывает команды для конечного эффектора и захвата. Сам по себе он не генерирует видео, а превращает представленное движение в действия; в паре с video predictor получается video-to-action pipeline. Чекпоинт дообучен на 100% counterfactual данных коллекции LIBERO-Long (LIBERO-10) CF64k поверх robot-video-pretrained backbone OpenWAM, 20 000 шагов. Это вариант без демонстраций в post-training; для смешанного варианта есть Mixed CF64k. Пригодится исследователям робототехники и тем, кто собирает управление по видео.
Ключевые особенности
- На входе — текущие виды камер, proprioception и латенты короткого будущего видео.
- На выходе — delta-команды end-effector и команды gripper; task-language conditioning и прошлые действия не нужны.
- Замороженный IDM можно сочетать с task-adapted video predictors без переобучения action-компонента.
- Обучение IDM post-training — полностью на counterfactual примерах: разные последовательности действий из общих стартовых состояний.
- В релизе есть веса и inference-конфигурация, запуск — через OpenWAM video-to-action pipeline.
Что можно сделать
- Соединить чекпоинт с video predictor OpenWAM и собрать video-to-action пайплайн для LIBERO.
- Оставить IDM замороженным и подменять video predictor под новые задачи, не трогая action-компонент.
- Использовать как готовый блок предсказания действий в исследованиях управления роботом по видео.
- Сравнить с OpenWAM IDM Mixed CF64k, чтобы оценить эффект обучения только на counterfactual данных.
Пример
Сценарий из карточки: подайте на вход текущие виды agent- и wrist-камер, proprioception и латенты короткого будущего видео — на выходе получите delta-команды end-effector и gripper. Запуск идёт через OpenWAM video-to-action pipeline; веса и inference-конфиг уже включены в релиз.
Подробнее
LIBERO-10: 93.8% успеха на 500 эпизодах (469/500 у video predictor VTA step-9700).Перенос на 4 задачи LIBERO-90: 93.5% в среднем, по 50 эпизодов на задачу.
IDM заморожен; нужен отдельный video predictor, язык задачи и прошлые действия не используются.
20 000 шагов post-training на 100% counterfactual данных; лицензия AGPL-3.0-only.










Comments