SimpleMemVLA Atomic65

SimpleMemVLA с нативным бэкбоном Qwen3.5-4B и flow-matching action head, дообученный на всех 65 задачах pretrain/atomic из RoboCasa v1.0. В обучении — 7356 человеческих демонстраций, 1 495 313 кадров при 20 Hz и 552 инструкции.

⚙ Ключевые особенности

• 🧨 Покрыты все 65 атомарных кухонных задач RoboCasa; MimicGen-расширения и составные задачи не включены.
• 🖥 На входе — три камеры 256×256, 30-секундная история левой камеры при 2 fps и 16-мерная проприоцепция.
• 📊 На выходе — 16-шаговые чанки 12-мерного действия PandaOmron: движение базы, режим управления, delta-поза энд-эффектора и гриппер.
• 🗺 Дополнительный supervision: фазы гриппера, выведенные из записанной команды гриппера.
• 💡 Чекпоинт загружается через upstream-загрузчик SimpleMemVLA или policy adapter из репозитория.

💻 Пример

from robomemarena_sim.policy import get_vla
vla, action_norm, state_norm = get_vla("<this repo>/model")

Подробнее

В closed-loop оценке на свежих сценах pretrain-сплита: 339/650 успехов (52,2 %, Wilson 95 % 0.48–0.56), 64 из 65 задач хотя бы с одним успехом, 0 технических сбоев.
Обучение: 30 000 обновлений, эффективный batch 48, backbone lr 5e-06, action-head lr 5e-05, ZeRO-3 на шести NVIDIA H200.
Ограничения: только atomic-задачи RoboCasa; у CloseBlenderLid — 0/10 успехов.