К содержимому
Робототехника

leap_t4a_groot_n17_40k

политика для роборуки LEAP с тактильным восприятием

2 мин чтенияобновлено

Модель представляет собой файнтюн (дообучение) nvidia/GR00T-N1.7-3B на 3,14 млрд параметров, созданный пользователем mfincato в библиотеке LeRobot. Она управляет манипулятором Panda с четырёхпалой кистью LEAP hand для задачи захвата объекта и перекладывания его в тарелку. Главная особенность — данные с трёх тактильных датчиков на кончиках пальцев (GelSight Mini, Daimon и DIGIT) подаются не как картинки, а в виде числового вектора состояния после кодировщика touch-for-all и сжатия методом PCA (метод главных компонент). Пригодится исследователям робототехники, работающим с тактильной обратной связью и VLA-политиками (моделями «зрение-язык-действие»).

Ключевые особенности

  • Тактильные данные как вектор состояния: сигналы с большого, указательного и среднего пальцев кодируются через touch-for-all v26 e32 и сжимаются общим PCA до 96 значений (по 32 на палец, сохраняя 93,5% дисперсии).
  • Мультимодальный вход и диффузионное действие: принимает кадр с левой камеры сцены (480×640, приводится к 256×256 с полями) и вектор состояния из 125 параметров, выдавая последовательность из 40 шагов действия (выполняются первые 5 на частоте 10 Гц).
  • Разделение окружений при запуске: тактильный кодировщик (transformers 4.42, numpy < 2) конфликтует с окружением GR00T (transformers 5.x), поэтому запускается отдельным процессом и передаёт 96 значений в основной процесс политики.
  • Финальный чекпоинт обучения: версия на 40 000 шагов (в репозитории автора также доступна версия на 10 000 шагов с более низким eval loss для сравнения на реальном роботе).

Что можно сделать

  • Запустить управление связкой манипулятора Panda и кисти LEAP hand с тактильными сенсорами для захвата и перекладывания предметов.
  • Сравнить на реальном оборудовании поведение чекпоинта на 40 000 шагов с версией mfincato/leap_t4a_groot_n17_10k, чтобы оценить влияние переобучения на точность захвата.
  • Использовать скрипты deploy_tactile.py и пайплайн кодирования из репозитория как референс для интеграции разнородных тактильных датчиков в политики LeRobot.

Пример

from lerobot.policies.factory import make_pre_post_processors
from lerobot.policies.groot.modeling_groot import GrootPolicy

repo = "mfincato/leap_t4a_groot_n17_40k"
policy = GrootPolicy.from_pretrained(repo).to("cuda").eval()
pre, post = make_pre_post_processors(policy.config, pretrained_path=repo)
policy.reset()
action = post(policy.select_action(pre(obs)))
ПодробнееМетрики: held-out eval loss на 40 000 шагах составил 0.210 (у чекпоинта на 10 000 шагов — 0.105; минимум 0.095 фиксировался на 4 000 шаге).
Обучение: 40 000 шагов на 1 × A100 80 GB (batch 32, AdamW lr 1e-4, bf16) на датасете HOUJC128/leap_jc_one_clean (90 эпизодов для обучения, 11 для валидации); заморожены LLM и vision tower, обучались проектор, диффузионная голова действий и VL layer norm.
Ограничения: требует специального форка LeoGori/lerobot с двумя патчами (включая 256×256 letterbox), а датчик DIGIT на среднем пальце имеет смещение в покое около 0,7 Н.
Обсудить Telegram 0 6

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 12 GB · готовые файлы13 GB
  • BF16веса 5.9 GB6.9 GB
  • FP8 / INT8рекомендуемвеса 2.9 GB3.7 GB
  • 4-bitвеса 1.6 GB2.3 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 5080

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # mfincato/leap_t4a_groot_n17_40k
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download mfincato/leap_t4a_groot_n17_40k --local-dir ~/models/leap_t4a_groot_n17_40k
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к leap_t4a_groot_n17_40k
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

nvidia/GR00T-N1.7-3B

Новые посты про версии GR00T-N1.7-3B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 3Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 1Все на Hugging Face

О модели

mfincato/leap_t4a_groot_n17_40k
Автор
mfincato
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

60

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии