r2s-baseline-robosimstudio
VLA-модели для робототехники в стиле RoboSimStudio
2 мин чтенияобновлено
Набор базовых моделей-учеников для экспериментов в робототехнике по схеме real-to-sim-to-real (перенос навыков из реального мира в симулятор и обратно). Автор rooty2020 воспроизвёл пайплайн метода RoboSimStudio внутри собственного фреймворка: сначала LLM-учитель генерирует и итеративно улучшает Python-программу планирования действий solve(view) -> Plan, а затем на её успешных демонстрациях обучаются VLA-политики (vision-language-action, модели, связывающие зрение, язык и действия робота) GR00T N1.5 (на базе nvidia/GR00T-N1.5-3B) и pi0.5 (openpi). В отличие от оригинального RoboSimStudio, здесь не используется среда исполнения GaP (graph-as-policy) — оцениваются сами обученные модели-ученики. Репозиторий пригодится исследователям робототехники для воспроизведения бейзлайнов и сравнения методов обучения манипуляторов.
Ключевые особенности
- Две архитектуры учеников: для каждой задачи обучаются политики на базе
nvidia/GR00T-N1.5-3B(learning rate 1e-4) иpi0.5из openpi (learning rate 1e-5). - Генерация данных через LLM-учителя: по одной телеуправляемой демонстрации и калибровке камеры настраивается симулятор (3 варианта физики: tuned, low, high), после чего LLM-программа до 14 итераций дорабатывается на 90 сценах до порога успешности ≥ 95 %.
- Единый бюджет обучения: для каждого ученика отбирается до 320 проверенных демонстраций, обучение идёт 30 000 шагов с batch size 64.
- Пять тестовых задач: в таблице результатов представлены сценарии
straw,banana_basket,chilgyo,towelиair_fryer.
Что можно сделать
- Использовать готовые веса из папок
/groot/model/и/pi05/params/как бейзлайн при сравнении своих алгоритмов real-to-sim-to-real. - Изучить файлы
baseline.jsonиworld_final.jsonвнутри репозитория, чтобы посмотреть исходный код финальных программ учителя, параметры настройки симуляции и расходы на LLM. - Сравнить поведение GR00T N1.5 и pi0.5 на задачах с тремя вариантами физики в симуляторе.
Пример
В репозитории данные организованы по задачам и архитектурам в формате //. Например, для задачи banana_basket чекпоинт GR00T N1.5 лежит в banana_basket/groot/model/, конфигурация политики — в policy.json, итоговый код программы-учителя и логи обучения — в baseline.json, а метрики проверки — в папке eval/.
Подробнее
Оценка (протокол sim2sim): 96 новых сцен (set D) в псевдо-мире, имитирующем реальность.Результаты для
banana_basket (GR00T N1.5, 30 000 шагов, 2.3 ч обучения): 91/96 (94.8 %) на set D, 1/16 (6.2 %) на валидационных стартах в псевдо-мире и 0/16 (0.0 %) в мире метода.Статус задач: для
banana_basket и chilgyo учитель прошёл порог (88/90 сцен), для air_fryer — 85/90 за 14 итераций, задачи straw и towel на момент публикации карточке находятся в процессе обучения.









Комментарии