GR00T N1.7 для Unitree G1

Это файнтюн nvidia/GR00T-N1.7-3B для embodiment UNITREE_G1_SONIC. Модель управляет Unitree G1 с руками Dex3 через whole-body контроллер NVIDIA GEAR-SONIC v1.1. По камере головы, состоянию робота и текстовой инструкции она выдаёт 40 шагов (0,8 с) motion tokens SONIC и цели для рук Dex3.

💪 Ключевые особенности

• 💪 Файнтюн GR00T N1.7 под тег UNITREE_G1_SONIC, обучен через Isaac-GR00T launch_finetune.py.
• 👀 Вход — камера головы, состояние робота и инструкция; выход — 40 шагов SONIC и цели Dex3.
• 🍒 Данные desk_v1: 824 эпизода, 160 415 кадров при 50 Гц. Записи Arena-G1-Static-PickNPlace-Task воспроизведены object-centric через SONIC на симуляционном двойнике стола; яблоко и тарелка в пределах ±8 см, оставлены только успешные rollouts.
• ✊ 20 000 шагов, global batch 16, color jitter, одна A100 40GB, около 3 ч. Это checkpoint-20000.
• 🐾 Только симуляция: на реальном роботе и NVIDIA SONIC deploy модель не запускали.

👉 Пример

python gr00t/eval/run_gr00t_server.py --model-path <this repo> --embodiment-tag UNITREE_G1_SONIC --port 5550

Подробнее

Held-out: 69% (59–77%) на 100 эпизодах — объекты на 12 см вне обучающего диапазона; 23 из 31 ошибки — яблоко сбито до захвата. In-distribution: 95% (91–97%).
Динамика: 99% на скользких поверхностях и лёгком яблоке, часть ячеек ещё не готова. Обучение: одна A100 40GB, ~3 ч.
Ограничения: только симуляция; данные и in-distribution оценка — с одного desk twin. Скорость рук ~1 м/с, рядом с людьми нужен rate-limit.