plwm FurnitureBench world model
мировая модель для робототехники на базе Wan2.2
2 мин чтенияобновлено
Модель представляет собой мировую модель (world model) с точечным латентным представлением для манипуляций роботов, построенную на основе Wan2.2-TI2V-5B. Она предсказывает будущие облака точек робота и сцены вместе с видео. Модель обучена на трековых облаках точек из FurnitureBench (включая квадратный стол и другие задачи) с разрешением 4096 точек на кадр и 32 шагами истории. Разработка пригодится исследователям и инженерам, работающим в области робототехники, компьютерного зрения и симуляции физических взаимодействий.
Ключевые особенности
- Построена на базе Wan2.2-TI2V-5B (DiT + VAE) и инициализирована с нуля.
- Прошла обучение в течение 100 000 шагов с глобальным батчем 64 и оптимизатором AdamW.
- Использует SE(3)-латентный точечный автоэнкодер для кодирования облаков точек в латентное пространство.
- В комплект входят веса экспоненциального скользящего среднего (EMA) для оценки и декодер точек в действия.
Что можно сделать
- Исследовать прогнозирование динамики сцены и облаков точек в робототехнических задачах манипуляции.
- Использовать чекпоинт
ema.ptсовместно с энкодеромencoder/ae_wmstats.ptдля оценки производительности модели. - Применять декодер
pts_actdec.ptдля сопоставления облаков точек с действиями робота.
Пример
Для работы с моделью используйте конфигурационный файл config.yaml, веса ema.pt и энкодер encoder/ae_wmstats.pt, как указано в документации репозитория.
Подробнее
Архитектура: Wan2.2-TI2V-5B (DiT + VAE)Обучение: 100 000 шагов, глобальный батч 64, AdamW lr 1e-4, косинусное расписание, bf16, EMA 0.999
Включенные файлы: config.yaml, ema.pt (~10 GB), encoder/ae_raw.pt, encoder/ae_wmstats.pt, pts_actdec.pt (~50 MB)










Комментарии