К содержимому
Робототехника

GR00T N1.7 LIBERO Finetunes

эксперименты с формулировками команд для роботов

2 мин чтенияобновлено

Набор локально дообученных чекпоинтов и логов экспериментов на базе nvidia/GR00T-N1.7-LIBERO (версия libero_spatial) от пользователя mzkuri. В основе модели лежит замороженная VLM (мультимодальная языковая модель) nvidia/Cosmos-Reason2-2B, а обучение затрагивает связующий модуль neck и голову действий (action_head). Автор проверял, как на поведение агента влияет замена синонимов, глаголов и описаний цели в текстовых инструкциях, а также выборочное обучение отдельных групп тензоров. Репозиторий пригодится исследователям робототехники и VLA-моделей (Vision-Language-Action), изучающим устойчивость политик к перефразированию команд.

Ключевые особенности

  • Разные сценарии вариативности: в прогонах менялись существительные-ориентиры (var), глаголы (verb), описания цели (dstvar) и доля совпадения формулировки с действием (серия e3_p0–e3_p100).
  • Выборочное обучение и гибриды: есть прогоны с обучением только 66 тензоров коннектора (neck_only), а также записи о перестановке весов между чекпоинтами (wl_neck, wl_dit, gx15_hybrids).
  • Воспроизводимость: каждый эксперимент выполнен на трёх сидах (101, 202, 303) и снабжён конфигами, trainer_state.json и логами.
  • Гибкая загрузка: можно скачать как конкретный чекпоинт (около 9,5 ГБ в двух шардах safetensors), так и только метаданные и логи без весов.

Что можно сделать

  • Проанализировать влияние синонимов и структуры текстовых команд на обобщающую способность VLA-моделей в симуляции.
  • Проверить роль отдельных модулей (коннектора neck против остальных 471 тензора action_head) при адаптации к новым задачам.
  • Использовать готовые чекпоинты (checkpoint-1500) для воспроизведения экспериментов в среде NVIDIA/Isaac-GR00T на датасетах LIBERO-Spatial и LIBERO-Goal.

Пример

hf download mzkuri/gr00t-n1.7-libero-spatial-landmark-synonyms \
  --include "paper/ext_replication/runs/train_seed_101/var/*" --local-dir /path/to/vla_study
ПодробнееБаза: nvidia/GR00T-N1.7-LIBERO (libero_spatial) + замороженная nvidia/Cosmos-Reason2-2B.
Датасеты: libero_spatial_no_noops_1.0.0_lerobot и libero_goal_no_noops_1.0.0_lerobot.
Размер одного чекпоинта: ~9,5 ГБ (checkpoint-1500, два файла safetensors без состояния оптимизатора).
Ограничения: обучение и оценка проводились только в симуляции LIBERO; не предназначено для физических роботов.
Лицензия: NVIDIA Open Model License (веса) и CC BY 4.0 (логи и конфиги).
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # mzkuri/gr00t-n1.7-libero-spatial-landmark-synonyms
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download mzkuri/gr00t-n1.7-libero-spatial-landmark-synonyms --local-dir ~/models/gr00t-n1.7-libero-spatial-landmark-synonyms
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии gr00t-n1.7-libero-spatial-landmark-synonyms — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

mzkuri/gr00t-n1.7-libero-spatial-landmark-synonyms
Автор
mzkuri
Категория
Робототехника
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Робототехника

CloudEdgeVLA

CloudEdgeVLA