SimpleMemVLA RoboCasa
память для кухонного робота
2 min readupdated
Файнтюн VLA-модели (Vision-Language-Action — нейросеть, которая превращает видео с камер и текстовую команду в движения робота) от автора namhokaist для мобильного манипулятора PandaOmron в симуляторе кухонь RoboCasa. Модель построена на архитектуре SimpleMemVLA с базой Qwen3.5-4B и обучалась на задачах с эпизодической памятью: сначала робот наблюдает, куда прячут баночку со специями или ставят чашку, а затем должен достать предмет без подсказки о стороне в текстовой инструкции. Главное отличие от базового чекпоинта — расширенное окно видеоистории до 100 секунд (вместо 30) и совместное дообучение на базовых действиях, чтобы робот не забывал простые навыки. Подойдёт исследователям в области робототехники и воплощённого ИИ, изучающим работу кратковременной памяти у манипуляторов.
Ключевые особенности
- Точное запоминание стороны: в тестах с открытым контуром на отложенных эпизодах со специями модель верно определяет сторону укрытия в 10 из 10 случаев (против 5/10 у базовой модели), опираясь именно на кадры истории, а не на длительность видео.
- Расширенное окно истории: подаёт на вход видеопоток с левой камеры с частотой 2 fps за последние 100 секунд, а также текущие кадры с трёх камер (256×256) и 16-мерное состояние робота.
- Защита от забывания (co-training): при обучении 40% батчей составляли 7 291 демонстрация из 65 базовых кухонных задач, а первые два кадра после фазы прятания сэмплировались в 57 раз чаще обычного.
- Генерация чанков действий: на выходе модель предсказывает последовательности из 16 шагов для 12-мерного пространства действий робота PandaOmron через голову flow-matching.
Что можно сделать
- Проверить работу памяти в симуляции: запустить скрипт
check_storage_memory.pyиз репозитория интеграцииnamhkoh/robo_tttдля воспроизведения тестов на запоминание. - Протестировать базовые навыки на кухне: поднять сервер политик
policy_server.pyсrollout_runner.pyи оценить выполнение 65 атомарных действий в RoboCasa. - Использовать как базу для своих сценариев: дообучить чекпоинт на собственных датасетах телеоперации с длинным контекстом наблюдения.
Пример
from robomemarena_sim.policy import get_vla
vla, action_norm, state_norm = get_vla("/model")
Подробнее
На 65 базовых задачах в закрытом контуре (RoboCasa) модель набирает 46.9% успеха (305/650) против 52.2% (339/650) у базового чекпоинта.Задачи со специями и чашками проверялись только в открытом контуре (сравнение предсказанных действий с записями без запуска в симуляторе).
Обучение заняло 6.6 часа на 6 GPU NVIDIA H200 (ZeRO-3), 3 000 шагов с эффективным батчем 48.
Лицензия репозитория не указана, действуют условия исходного кода OpenBMB/SimpleMemVLA и базы Qwen3.5-4B.










Comments