openarm-groot-singletask
8 файнтюнов NVIDIA GR00T N1.7 для роборуки OpenArm
2 min readupdated
Набор из восьми специализированных моделей для управления роботом-манипулятором, созданных автором ericaying на базе nvidia/GR00T-N1.7-3B. Модели обучены на датасетах OpenArm (cpsu04/openarm_t1, t2, t3, t5) решать четыре бытовые задачи по перекладыванию предметов. В репозитории лежат по две версии на каждую задачу: обычная (A0) и с применением knowledge distillation (переноса знаний от модели-учителя ZeroMSF по признакам scene flow, то есть оптического потока сцены в 3D, версия A1). Подойдёт исследователям в области робототехники и VLA-моделей (Vision-Language-Action), которые работают с платформой OpenArm или сравнивают методы дистилляции для управления манипуляторами.
Ключевые особенности
- 4 конкретные задачи: положить губку на тарелку (T1), поставить зелёный кубик на жёлтый (T2), поставить чашку на разделочную доску (T3) и положить синий/зелёный/жёлтый кубик в миску (T5).
- Мультимодальный вход и траектория на выходе: модель принимает кадр с нагрудной камеры (480×640 RGB), текущие углы 7 суставов левой руки и положение схвата, а выдаёт абсолютные целевые координаты сразу на 16 шагов вперёд (1.6 секунды при частоте 10 Hz).
- Сравнение с дистилляцией (A0 vs A1): в варианте A1 на 8-м слое LLM используется функция потерь InfoNCE для дистилляции признаков scene flow от модели ZeroMSF с шагом 0.4 секунды.
- Готовность к инференсу: из чекпоинтов удалены состояния оптимизатора, поэтому каждый из 8 вариантов весит около 6.95 ГБ (весь набор — около 56 ГБ), а целостность файлов проверяется через
MANIFEST.json.
Что можно сделать
- Развернуть сервер управления роботом: запустить локальный инференс-сервер для управления левым манипулятором OpenArm в симуляции или на реальном стенде по заданным текстовым командам.
- Провести сравнительные тесты A0 и A1: проверить на практике, насколько дистилляция 3D-движения сцены (scene flow) улучшает точность захвата и укладки объектов по сравнению с базовым файнтюном.
Пример
GR00T_EVAL_SEED=0 python gr00t/eval/run_gr00t_server.py \
--model-path ./openarm_models/oa-t2-pt-l8-llm-tn-nce-sd02-from10ep-5k-ck5000 \
--embodiment-tag NEW_EMBODIMENT --port 8000 --host 0.0.0.0
Подробнее
Обучение: 5 000 шагов с batch size 64 (старт с весов GR00T N1.7, дообученных 10 эпох на датасете Bridge); визуальный энкодер заморожен, LLM обучалась с lr 1e-6, action head — с lr 1e-4.Важное требование: текстовая инструкция должна строго совпадать с таблицей из карточки, а на вход нужно подавать реальные углы суставов строго в момент съёмки кадра.
Ограничения: модели пока не проходили валидацию на реальном физическом роботе; для запуска требуется пропатченная версия репозитория Isaac-GR00T (коммит
51d4c89 + патчи автора под поля дистилляции).Лицензия: NVIDIA Open Model License Agreement.










Comments