SpatialCasa-GR1-checkpoints
веса π0.5 и GR00T N1.7 для пространственных задач робототехники
2 min readupdated
Набор дообученных весов для гуманоидного робота GR1 (фокус на настольных манипуляциях с учётом пространственных отношений объектов). На вход модели получают картинку с камеры от первого лица (ego_view), текущее состояние 29 степеней свободы и текстовую инструкцию, а на выходе выдают последовательности действий (action chunks) для суставов рук, корпуса и кистей. В репозитории собраны две VLA-модели (Vision-Language-Action — нейросети, связывающие зрение, текст и управление роботом): полный файнтюн π0.5 (3.353 B параметров на базе PaliGemma 2B + 300M action expert из openpi и RoboCasa365) и файнтюн GR00T N1.7 3B от NVIDIA. В отличие от базовой GR00T N1.7, которая в режиме zero-shot почти не справляется с задачами SpatialCasa (0.1% успеха), дообученные версии уверенно выполняют как знакомые, так и новые сценарии. Релиз пригодится исследователям робототехники и разработчикам, работающим со стеками openpi, Isaac-GR00T и симулятором RoboCasa.
Ключевые особенности
- Обучены на датасете SpatialCasa-GR1 (11 996 демонстраций по 12 задачам, более 3.17 млн кадров на частоте 20 Гц).
- Включают готовые чекпоинты двух архитектур:
pi05_gr1/ck29999(EMA-веса в формате bf16) иgroot_n17_gr1/ck190000(safetensors в bf16). - Содержат подробные отчёты оценки на 5 700 закрытых эпизодах (
eval_seenиeval_novelс горизонтом 720 шагов). - Совместимы с открытым кодом из ветки
robocasa-spatial-vlaрепозитория SpatialLIBERO для запуска серверов политик.
Что можно сделать
- Развернуть локальный сервер инференса π0.5 или GR00T N1.7 через ZMQ/msgpack для управления роботом GR1 в симуляции RoboCasa.
- Воспроизвести результаты бенчмарка SpatialCasa-GR1 на 5 700 эпизодах и сравнить поведение двух VLA-архитектур.
- Использовать веса как отправную точку для дальнейшего дообучения под собственные задачи настольной манипуляции.
Пример
huggingface-cli download doanh25032004/SpatialCasa-GR1-checkpoints --include "pi05_gr1/ck29999/*" --local-dir ./ckpts
cd SpatialLIBERO
MODEL=pi05 VARIANT=full CKPT=$PWD/../ckpts/pi05_gr1/ck29999 PORT=5602 GPU=0 bash robocasa/tools/serve_vla_gr1.sh
Подробнее
Бенчмарк (5 700 эпизодов, общий Success Rate): π0.5 ck29999 — 28.2% (39.6% на seen), GR00T N1.7 ck190000 — 14.1% (25.0% на seen), базовая GR00T N1.7 (0-shot) — 0.1%.Обучение π0.5: полный файнтюн (30 000 шагов, batch 256, 22.6 часа на 4× A100 80GB).
Обучение GR00T N1.7: 4 этапа (190k шагов с batch 192 после прогрева 25k с batch 64, 12 эпох на 3× A100 DDP), LLM и vision tower заморожены.
Ограничения и лицензии: только для исследовательских целей; наследуют условия NVIDIA Open Model License (GR00T), Gemma Terms of Use и openpi (π0.5).










Comments