ACTS world model
визо-тактильная модель мира для робототехники
2 min readupdated
Репозиторий от автора WitneyWW с кодом, предобработанными данными и обученными чекпоинтами для запуска и дообучения визо-тактильной world model (модели мира, предсказывающей будущие кадры на основе действий). Система прогнозирует визуальные и тактильные наблюдения с датчиков GelSight при выполнении манипуляций на задачах motherboard, pushT и rope. В основе лежат базовые модели Cosmos3-Nano и Wan2.2 VAE (с отдельной тактильной LoRA-надстройкой), а главная цель сборки — провести ablation-эксперименты (проверку влияния отдельных компонентов) при отключении потоков действий камеры и данных о силе нажатия.
Ключевые особенности
- Полный набор из 166 эпизодов (117 ГБ латентов и действий плюс 16 ГБ исходных видео и телеметрии) для трёх робототехнических задач.
- Готовые чекпоинты базовых прогонов
pusht_v1иrope_v1(20 эпох), а также промежуточный вариант без учёта силы нажатия для задачи motherboard. - Поддержка как короткого прогнозирования (8 кадров по 8 входным), так и длинного авторегрессионного роллаута на 15 окон (120 кадров) через солвер UniPC за 35 шагов.
- Готовые конфиги и Slurm-скрипты для воспроизведения четырёх экспериментов sensor-only (с силой и без неё) и автоматического подсчёта метрик PSNR, SSIM и LPIPS.
Что можно сделать
- Запустить инференс и оценить качество предсказания контактов и деформаций на готовых тестовых сценариях для задач pushT, rope или motherboard.
- Дообучить и сравнить модели в режиме sensor-only на кластере из 4 GPU NVIDIA H100, чтобы измерить вклад тактильной силы и потоков обзора в точность симуляции.
- Использовать предобработанные латенты Wan2.2 VAE и тактильную LoRA для собственных исследований в области робототехнических world-моделей.
Пример
source env.sh
$PYTHON_BIN eval/run_test_case.py --task rope --case 0
$PYTHON_BIN eval/summarize.py --task rope --referenceПодробнее
Обучаемых параметров: ~45.30M (sensor-only) против 45.34M у полной модели; LoRA r16/α32 на GEN-башне поверх Cosmos3-Nano.Требования к железу: тестировалось на Linux с 4× NVIDIA H100 80 GB (CUDA 12.8), потребление при обучении ~31 ГБ VRAM на карту (global batch 8).
Объём данных: ~175 ГБ при скачивании всех компонентов, включая Cosmos3-Nano (29 ГБ).
Инференс одного тестового кейса занимает ~7 минут на H100 (или ~40 секунд с флагом --short-only).










Comments