urdf2vla-crx3ia-gr00t-n1.7
управление роборукой FANUC в симуляторе
2 мин чтенияобновлено
Это VLA-модель (Vision-Language-Action — нейросеть, которая связывает картинку, текстовую команду и физические действия) для робоманипулятора FANUC CRX-3iA с захватом Robotiq 2F-85 в симуляторе NVIDIA Isaac Sim. Модель получает команду на английском языке, например «put the apple in the bin», анализирует поток с трёх камер и текущее положение суставов, а на выходе выдаёт последовательность из 16 шагов управления рукой и захватом. Она основана на nvidia/GR00T-N1.7-DROID (3.14 млрд параметров) и обучена автором umegan сквозным пайплайном urdf2vla напрямую из URDF-описания робота. От базовой версии чекпоинт отличается адаптацией под конкретную кинематику FANUC и конфигурацию из трёх камер (на запястье, слева и справа). Пригодится разработчикам робототехники и исследователям для тестов и экспериментов с VLA в симуляции.
Ключевые особенности
- Трёхкамерное зрение: принимает текущие RGB-кадры 256×256 сразу с трёх точек —
wrist_cam,left_camиright_cam. - Точное управление суставами: на частоте 20 Hz предсказывает 16 шагов целевых углов для 6 осей манипулятора (J1–J6) и состояние захвата.
- Лёгкое дообучение: при файнтюнинге замораживались языковая модель и визуальный энкодер, обучались только проектор и диффузионная голова действий.
- Стопроцентный результат в тесте: в симуляции успешно выполнила 20 из 20 эпизодов перекладывания яблока, кубика, лайма и груши.
Что можно сделать
- Оценить работу в Isaac Sim: запустить готовую валидацию на 20 эпизодах с записью видео, чтобы посмотреть, как модель захватывает и переносит объекты в корзину.
- Использовать как шаблон для своего робота: взять конфигурацию
urdf2vla_modality_crx3ia.pyи пример из репозиторияurdf2vlaдля переноса пайплайна на другие URDF-модели манипуляторов. - Дообучить на новые сценарии: расширить датасет демонстраций за пределы четырёх стандартных объектов и одного стола.
Пример
hf download umegan/urdf2vla-crx3ia-gr00t-n1.7 --local-dir projects/crx3ia/training/hf_crx3ia
mkdir -p projects/crx3ia/datasets/demos_gr00t
cp projects/crx3ia/training/hf_crx3ia/urdf2vla_modality_crx3ia.py projects/crx3ia/datasets/demos_gr00t/
urdf2vla evaluate_vla --project projects/crx3ia --model training/hf_crx3ia --episodes 20 --videoПодробнее
Метрики: 20/20 успешных эпизодов, медианное отклонение от цели — 15 мм, средняя длина эпизода — 174 шага (8.7 с).Обучение: 50 скриптовых демонстраций, 10 000 шагов с batch size 32 на одной NVIDIA L40S (пик 41.9 GB VRAM, 2 ч 40 мин).
Ограничения: работает только в симуляции (на реальном роботе не проверялась), обучена на одной сцене с фиксированным освещением и 4 типами объектов.
Лицензия: NVIDIA Open Model License (содержит замороженные веса
nvidia/Cosmos-Reason2-2B).









Комментарии