RE-VLA (EventVLA)
чекпоинты VLA для MuJoCo
2 мин чтенияобновлено
RE-VLA — это набор чекпоинтов для симуляционного бенчмарка роботизированных манипуляций MuJoCo + robosuite. В комплекте — System 2 (DynamicVLA на базе SmolVLA с 3-frame fusion, обучена 12 эпох на данных четырёх задач) и System 1 rSM с hindsight latent z, а также аблации. Сцена: Panda arm, управление 250 Hz, RGB и event-камеры (камеры событий) на 25 Hz; задачи — basket, place, wander (новая версия с дальним стартом, турбулентным переходом и объектами x0.5) и leafcatch. На выходе — веса, конфиги, история обучения и SHA256-суммы, плюс процедура оценки в ветке кода. Пригодится исследователям VLA (vision-language-action) и робототехники, которым нужны воспроизводимые закрытые тесты с event-камерами; автор — HoonheeCho.
Ключевые особенности
- System 2 — DynamicVLA (SmolVLA + 3-frame fusion), 12 эпох на 4-задачных данных mt3w2; на нём запускаются все System 1.
- System 1 rSM — с hindsight latent z, обучен с нуля от joint start weights; отчётный чекпоинт — model_step50000.pt.
- Две аблации: без latent z и future prediction (random init) и без latent z, но с event renderer и future-prediction loss.
- Закрытая оценка на 100 сидах на задачу: средний success rate 56.5% у rSM step 50k; аблации пока не оценены.
Что можно сделать
- Воспроизвести бенчмарк в MuJoCo + robosuite по ветке кода и проверить SHA256.
- Сравнить rSM step 50k с финальным step 58,844 и с аблациями по success rate.
- Использовать System 2 как базу для своих System 1-экспериментов с event-камерами.
- Проверить устойчивость на новой wander-сцене с дальним стартом и уменьшенными объектами.
Пример
hf download HoonheeCho/dvla-mujoco-mt3w2-ckpt-20261112 --local-dir /home/irteam/ws/repro_vla
cd /home/irteam/ws/repro_vla && sha256sum -c SHA256SUMS.txt
Подробнее
Средний success rate rSM step 50k — 56.5%: wander 49%, basket 48%, place 75%, leafcatch 54%.Финальный model.pt (step 58,844) даёт 55.3% в среднем.
Аблации в закрытой оценке ещё не проверялись.
Всё обучение — в симуляции MuJoCo; для запуска нужна ветка to_youngho_server репозитория DynamicVLA.










Комментарии