leap_t4a_groot_n17_40k
политика для роборуки LEAP с тактильным восприятием
2 min readupdated
Модель представляет собой файнтюн (дообучение) nvidia/GR00T-N1.7-3B на 3,14 млрд параметров, созданный пользователем mfincato в библиотеке LeRobot. Она управляет манипулятором Panda с четырёхпалой кистью LEAP hand для задачи захвата объекта и перекладывания его в тарелку. Главная особенность — данные с трёх тактильных датчиков на кончиках пальцев (GelSight Mini, Daimon и DIGIT) подаются не как картинки, а в виде числового вектора состояния после кодировщика touch-for-all и сжатия методом PCA (метод главных компонент). Пригодится исследователям робототехники, работающим с тактильной обратной связью и VLA-политиками (моделями «зрение-язык-действие»).
Ключевые особенности
- Тактильные данные как вектор состояния: сигналы с большого, указательного и среднего пальцев кодируются через touch-for-all v26 e32 и сжимаются общим PCA до 96 значений (по 32 на палец, сохраняя 93,5% дисперсии).
- Мультимодальный вход и диффузионное действие: принимает кадр с левой камеры сцены (480×640, приводится к 256×256 с полями) и вектор состояния из 125 параметров, выдавая последовательность из 40 шагов действия (выполняются первые 5 на частоте 10 Гц).
- Разделение окружений при запуске: тактильный кодировщик (transformers 4.42, numpy < 2) конфликтует с окружением GR00T (transformers 5.x), поэтому запускается отдельным процессом и передаёт 96 значений в основной процесс политики.
- Финальный чекпоинт обучения: версия на 40 000 шагов (в репозитории автора также доступна версия на 10 000 шагов с более низким eval loss для сравнения на реальном роботе).
Что можно сделать
- Запустить управление связкой манипулятора Panda и кисти LEAP hand с тактильными сенсорами для захвата и перекладывания предметов.
- Сравнить на реальном оборудовании поведение чекпоинта на 40 000 шагов с версией
mfincato/leap_t4a_groot_n17_10k, чтобы оценить влияние переобучения на точность захвата. - Использовать скрипты
deploy_tactile.pyи пайплайн кодирования из репозитория как референс для интеграции разнородных тактильных датчиков в политики LeRobot.
Пример
from lerobot.policies.factory import make_pre_post_processors
from lerobot.policies.groot.modeling_groot import GrootPolicy
repo = "mfincato/leap_t4a_groot_n17_40k"
policy = GrootPolicy.from_pretrained(repo).to("cuda").eval()
pre, post = make_pre_post_processors(policy.config, pretrained_path=repo)
policy.reset()
action = post(policy.select_action(pre(obs)))
Подробнее
Метрики: held-out eval loss на 40 000 шагах составил 0.210 (у чекпоинта на 10 000 шагов — 0.105; минимум 0.095 фиксировался на 4 000 шаге).Обучение: 40 000 шагов на 1 × A100 80 GB (batch 32, AdamW lr 1e-4, bf16) на датасете HOUJC128/leap_jc_one_clean (90 эпизодов для обучения, 11 для валидации); заморожены LLM и vision tower, обучались проектор, диффузионная голова действий и VL layer norm.
Ограничения: требует специального форка LeoGori/lerobot с двумя патчами (включая 256×256 letterbox), а датчик DIGIT на среднем пальце имеет смещение в покое около 0,7 Н.










Comments