G1 throw VLA
чекпоинты для бросков предметов гуманоидным роботом
2 мин чтенияобновлено
Набор дообученных VLA-моделей (Vision-Language-Action — нейросети, связывающие зрение, команды и действия робота) для гуманоидного робота Unitree G1. Модели решают задачу захвата объекта с пьедестала и точного броска в коробку. В репозитории собраны две архитектуры: DynamicVLA (на базе SmolLM2-360M в формате LeRobot) и ForceVLA (на базе pi0_base с адаптером LoRA, учитывающая данные датчика силы на запястье). Для каждой архитектуры подготовлены отдельные чекпоинты под три типа объектов: жёсткие (rigid), неправильной формы (irregular) и динамические (dynamic). Пригодится разработчикам в области робототехники и исследователям, работающим со средой симуляции Isaac Lab.
Ключевые особенности
- Мультимодальные входы: обе модели используют изображения с боковой и головной камер, а также положение 14 суставов; ForceVLA дополнительно получает 6-мерный вектор силы и крутящего момента на запястье.
- Горизонт планирования: нейросети предсказывают последовательность из 40 целевых положений суставов (на 1.3 секунды вперёд) и выполняют 16 шагов перед пересчётом траектории.
- Разделение по типам грузов: отдельные веса под жёсткие, нестандартные и динамические предметы позволяют тестировать поведение робота на разных физических свойствах объектов.
- Готовность к тестам: модели обучены на датасете
twanghcmut/g1-throw-newtonи совместимы с фреймворками LeRobot и openpi.
Что можно сделать
- Воспроизвести бенчмарк в Isaac Lab: запустить оценку точности бросков в симуляторе на отложенных вариантах объектов в тестовых помещениях.
- Сравнить влияние силовых датчиков: на одном и том же сценарии протестировать разницу между чисто визуальной политикой DynamicVLA и ForceVLA с учётом 6-D wrench на запястье.
- Использовать как отправную точку для дообучения: взять готовые веса
forcevlaилиdynamicvlaдля экспериментов с динамическими манипуляциями на роботе Unitree G1.
Пример
hf download twanghcmut/g1-throw-vla --include "forcevla/rigid/*" --local-dir ckpt
benchmark/throw/eval/eval.sh forcevla rigid ckpt/forcevla/rigid results/forcevla_rigid
Подробнее
Результаты в симуляции Isaac Lab (успешное попадание в коробку): ForceVLA показала 8.4% на жёстких объектах, 5.9% на объектах неправильной формы и 3.8% на динамических (против 0.6%, 0.7% и 0.3% у DynamicVLA).Все модели успешно поднимают предмет с пьедестала в 49–76% эпизодов, но большинство неудач приходится на промахи после броска (скриптовый эксперт попадает в ~52% случаев).
Детали обучения: DynamicVLA обучалась 6 эпох с batch 44; ForceVLA — с batch 32 (20k шагов для rigid/irregular и 15k шагов для dynamic).
Код для обучения и оценки находится в ветке
benchmark/throw-vla репозитория extrinsic-dexterity на GitHub.









Комментарии