K1 erase-board GR00T N1.7
чекпоинт политики для стирания доски
2 мин чтенияобновлено
Это инференс-экспорт чекпоинта шага 10000 из продолжающегося 20000-шагового обучения для робота K1 с двумя 7-DOF руками и двумя 12-DOF кистями. Политика получает RGB с трёх камер и 38 положений суставов в радианах, а выдаёт 16 будущих шагов по 38 абсолютных целевых положений суставов. Задача — erase_whiteboard: стереть белую доску; обучение шло на 20 эпизодах (32 625 кадров, 15 fps) на базе nvidia/GR00T-N1.7-3B. Пригодится тем, кто работает с GR00T и кастомными embodiment: в карточке есть processor metadata и modality.json, чтобы не перепутать порядок state и action. На реальном роботе чекпоинт ещё не оценивался.
Ключевые особенности
- Основа —
nvidia/GR00T-N1.7-3B; vision/language backbone заморожен при обучении. - Кастомный embodiment K1: две 7-DOF руки и две 12-DOF кисти, 38 позиций суставов на входе.
- Три RGB-камеры:
cam_head,cam_left_wrist,cam_right_wrist. - Выход — 16 будущих шагов по 38 абсолютных целевых положений суставов в радианах.
- Экспорт из трёх safetensors-шардов без optimizer states; metadata, embodiment IDs и normalization statistics включены.
Что можно сделать
- Запустить inference в совместимом GR00T N1.7 runtime с ассетами
Cosmos-Reason2-2Bи проверить политику стирания доски для K1. - Разобрать
modality.jsonиexport_info.jsonкак пример корректного маппинга 38-мерных state и action для своего двухрукого робота. - Сверить порядок камер и суставов в своей конфигурации с карточкой, чтобы не интерпретировать raw observation-state как action array.
- Использовать чекпоинт как референс структуры экспорта для собственного инференса на кастомном embodiment.
Пример
Подайте в совместимый GR00T N1.7 runtime три RGB-потока (cam_head, cam_left_wrist, cam_right_wrist), 38 положений суставов в радианах и инструкцию erase_whiteboard. На выходе получите 16 шагов по 38 абсолютных целевых положений суставов; перед исполнением сверьте порядок с modality.json.
Подробнее
Обучение: 20 эпизодов, 32 625 кадров, 15 fps; batch 32, learning rate 1e-4, vision/language backbone заморожен.Экспорт: три safetensors-шарда, optimizer states исключены; processor metadata, embodiment IDs и normalization statistics в корне модели.
Требования: совместимый GR00T N1.7 runtime и model/tokenizer assets
Cosmos-Reason2-2B.Ограничение: кастомный K1 embodiment; на реальном роботе чекпоинт ещё не оценивался.










Комментарии