cei2-groot-n17-base-wipe200
управление роборукой с кистью для очистки доски
2 мин чтенияобновлено
Модель робототехники, которая управляет манипулятором Franka FR3 (7 степеней свободы) и многопалой кистью LEAP Hand (16 степеней свободы) для выполнения конкретной задачи: взять губку и стереть записи с маркерной доски. Она создана автором Geoffrey19 путём полного файнтюна (дообучения всех весов) базовой модели nvidia/GR00T-N1.7-3B на 3,14 млрд параметров. На вход модель получает картинку с внешней камеры и текущие углы 23 суставов, а на выходе предсказывает чанк (последовательность) из 16 следующих положений суставов. В отличие от родственного чекпоинта, инициализированного после синтетического претрейна CEI, эта версия обучена напрямую с базовых весов NVIDIA. Пригодится исследователям в области Embodied AI (воплощённого ИИ) для экспериментов с переносом демонстраций на реальных роботов.
Ключевые особенности
- Полное дообучение архитектуры: разморожены и обучены языковой и визуальный энкодеры (на базе
nvidia/Cosmos-Reason2-2B), проектор и голова генерации действий (action head). - Реальные телеуправляемые данные: обучение прошло на 199 эпизодах (99 133 кадра с частотой 15 Гц) из датасета
zwx/wipe_whiteboard_franka_leap_15hz_absolute_200с одной RGB-камерой 640×480. - Предсказание относительных шагов: модель выдаёт 16-шаговые чанки приращений относительно текущего состояния суставов (
NON_EEF), которые затем переводятся в абсолютные координаты в радианах. - Специфичный порядок суставов: для кисти LEAP используется перестановка индексов
P(mcp_forwardидёт передmcp_side), которую клиент должен применять до и после инференса.
Что можно сделать
- Офлайн-валидация политик: запустить open-loop оценку траекторий в среде
Isaac-GR00Tна датасетах формата LeRobot/GR00T. - Сравнение стратегий обучения: использовать как бейзлайн при изучении разницы между стартом с базовой VLA-модели и стартом после синтетического mid-training (CEI).
- Адаптация под новую кинематику: взять конфигурацию
NEW_EMBODIMENTи скрипт перестановки суставов за основу для подключения других антропоморфных кистей в GR00T N1.7.
Пример
python gr00t/eval/open_loop_eval.py \
--dataset-path \
--embodiment-tag NEW_EMBODIMENT \
--model-path \
--traj-ids 0 1 2 --execution-horizon 16
Подробнее
Обучение: 20 000 шагов, батч 32, 1 GPU, lr 2e-5 (cosine decay), точность bfloat16 поверх весов float32 (3.14B параметров).Метрики: финальный training loss (flow-matching) снизился с 1.0587 до 0.0236 (у версии после CEI-претрейна — 0.0129).
Ограничения: нет валидационной выборки и тестов на реальном железе; одна сцена и камера; лицензия NVIDIA разрешает только некоммерческие исследования.










Комментарии