StreamingWAM-DiT4DiT-LIBERO
streaming-адаптация для LIBERO
2 min readupdated
StreamingWAM-DiT4DiT-LIBERO — набор из двух чекпоинтов для роботизированных задач LIBERO. Это дополнительное обучение на DiT4DiT с видеобэкбоном Cosmos-Predict2.5-2B: сравниваются обычный Joint и streaming-вариант с историей наблюдений и действий. Код и команды запуска — в репозитории.
Ключевые особенности
- Два чекпоинта:
jointиstreaming; оба стартуют с одной официальной инициализации DiT4DiT-LIBERO. - Streaming использует пять реальных визуальных наблюдений и восемь выполненных действий, уточняет буфер на восемь действий и исполняет четыре действия на replan.
- Joint сохраняет одно текущее изображение и четыре обновления действий на replan; оба варианта используют парные виды основной и wrist-камеры.
- В комплекте полный inference state dict (~21,3 ГБ), конфиги, статистика нормализации и метаданные; optimizer states и логи не включены.
- Это чекпоинты для LIBERO simulation, не real-robot или RoboTwin.
Пример
git clone https://github.com/renshaojie233/StreamingWAM.git
cd StreamingWAM/extensions/dit4dit
python scripts/download.py --method both --output checkpoints/dit4dit
CUDA_VISIBLE_DEVICES=0 python scripts/smoke_inference.py --method streaming --checkpoint-dir checkpoints/dit4dit/streaming --cosmos-path checkpoints/cosmos
Подробнее
LIBERO-Plus raw-prompt success: joint — 70,88%, streaming — 76,37% (10 030 эпизодов, seed 7).Каждый чекпоинт — около 21,3 ГБ; нужен отдельный DiT4DiT-окружение и pinned Diffusers, это не generic
AutoModel.Задержка: 135,526 мс у обычного варианта и 153,685 мс у streaming; end-to-end ускорение не заявляют.
Только LIBERO simulation; streaming-точка выбиралась по 200-entry screen, поэтому полная оценка не полностью held out.










Comments