РобототехникаMINT-SJTU
StarVLA × Evo-DexBench
шесть VLA-политик на 15 задач
1 мин чтенияобновлено
Набор чекпоинтов от MINT-SJTU: шесть политик StarVLA, каждая обучена сразу на всех 15 задачах Evo-DexBench своего типа манипулятора — single-arm или dual-arm. Микс собран из 624 демонстраций: по 50 из каждой из 12 Core-задач и по 8 из каждой из 3 Gen-задач с равными весами. Политики принимают 30D/60D физических действий, 31D/62D состояния и три RGB-камеры, работают на 30 Hz.
📌 Ключевые особенности
- 🤖 Три фреймворка: QwenOFT (официальный StarVLA), EvoWanOFT и EvoCosmosGR00T (расширения модели).
- 💻 QwenOFT обучался 600k шагов, Wan и Cosmos — по 300k.
- ⏳ Горизонт действий: 50 с выполнением 10 шагов у QwenOFT, 8/8 у Wan и Cosmos.
- ✨ Backbone'ы заморожены: у QwenOFT это Qwen3-VL-4B-Instruct, у Wan и Cosmos обучаются только action head.
- 📌 Обучение — NVIDIA A100 80 GB, global batch 4, bf16, seed 42, cosine decay до 5e-7.
▶ Пример
hf download MINT-SJTU/Evo-DexBench_StarVLA_checkpoints \
--include "qwenoft-single/*" "model_extension/*" "SHA256.json" --local-dir ./modelsПодробнее
SR на 15 задачах: qwenoft-single 0.157, cosmos-single 0.129, wan-single 0.121.Dual-arm заметно слабее: cosmos-dual 0.037, qwenoft-dual 0.018, wan-dual 0.005.
Stage: 0.257 у qwenoft-single, 0.241 у cosmos-single, 0.198 у wan-single.
Оценка — 100 эпизодов на задачу в пяти условиях (Nominal, Camera, Lighting, Physical, Spatial), 4 параллельные среды.
Веса без обучающих данных; нужны Qwen3-VL-4B-Instruct и Transformers 4.57.0.
Комментарии