GR00T N1.7 rotate_qrcode

Файнтюн NVIDIA Isaac GR00T N1.7-3B на симуляторных данных RoboTwin 2.0 для задачи rotate_qrcode. Отличие от предыдущего v1-чекпойнта — только обучающие данные: к 50 чистым демонстрациям добавлена аугментация v9clut, сгенерированная через Cosmos3-Nano-Sim-Transfer. Архитектура та же: vision-language бэкбон Cosmos-Reason2-2B заморожен, обучается flow-matching DiT action head.

✨ Ключевые особенности

• 🤖 Embodiment NEW_EMBODIMENT с robotwin_aloha_config.py: 6 суставов руки (relative) + абсолютный gripper на каждую руку.
• 👀 Три камеры: cam_high, cam_left_wrist, cam_right_wrist; горизонт действий — 16.
• 💻 10k шагов обучения, глобальный батч 64, 2 GPU NVIDIA B300, чекпойнт каждые 2.5k.
• ⭐ Релизный checkpoint-10000 отобран на отдельном валидационном seed (Hard, 50 эпизодов).
• ✅ Аугментация даёт кратный рост: Easy/Hard выросли с 49/13 у v1 до 56/36.

🎨 Пример

Оценка идёт через eval_policy.py из RoboTwin 2.0 с GR00T policy server: на каждый инференс выполняется 8 шагов действий, инструкции — unseen, seed 0, по 100 эпизодов на режим. Полный рецепт и лог экспериментов — в репозитории nota-github/xpu-gr00t-aug-recipe.

Подробнее

Success rate (100 эпизодов): Easy 56% / Hard 36% против 14% / 3% у baseline и 49% / 13% у v1.
McNemar на тех же 100 сценах: Hard +24, p<0.001.
Данные: RoboTwin 2.0 (MIT) и видео Cosmos3-Nano-Sim-Transfer (OpenMDW 1.1).
Лицензия — NVIDIA Open Model License (производная от GR00T N1.7).
Обучение потребовало 2 GPU NVIDIA B300; ограничение — только задача rotate_qrcode в RoboTwin 2.0.