PLWM
point-latent world model для робототехники
1 мин чтенияобновлено
Модель PLWM (point-latent world model) представляет собой исследовательский чекпоинт для задач робототехники, расширяющий архитектуру Wan2.2-TI2V-5B 3D-потоком точек и встроенным экшн-декодером. Она обучена на реальных данных бимануальных роботов с четырех камер и предсказывает как визуальные изменения, так и действия манипуляторов. Модель опирается на видеодиффузионный трансформер Wan2.2 и замороженный точечный автоэнкодер. Разработка полезна исследователям и инженерам, занимающимся робототехникой и моделями мира (world models).
Ключевые особенности
- На основе Wan2.2-TI2V-5B с добавлением 3D point-latent потока.
- Встроенный декодер действий (bimanual end-effector actions) на частоте 10 Гц.
- Обучение на реальных бимануальных робоэпизодах с четырех ракурсов камер.
- Включает финальный чекпоинт обучения на 8 картах H100 (шаг 10000) и код пакета.
Что можно сделать
- Запустить тест загрузки модели на CPU с помощью скрипта из комплекта.
- Настроить инференс, подключив публичные веса Wan2.2-TI2V-5B и текстовый энкодер umt5-xxl.
- Использовать код пакета и конфигурации Hydra для собственных экспериментов с world models.
Пример
pip install torch hydra-core omegaconf einops imageio rich safetensors transformers
cd world_model && python load_test.py # добавьте --ema для весов EMAПодробнее
Берёт за основу Wan2.2-TI2V-5B и замороженный SE(3)-latent point AE (144 слота по 128 каналов).Данные: 46 обучающих и 5 валидационных эпизодов бимануального робота на 10 Гц.
Оптимизация: DDP на 8x H100, глобальный батч 16, lr 1e-4, AdamW 8-bit, bf16.






Комментарии