GR00T N1.7 LIBERO Finetunes
эксперименты с формулировками команд для роботов
2 мин чтенияобновлено
Набор локально дообученных чекпоинтов и логов экспериментов на базе nvidia/GR00T-N1.7-LIBERO (версия libero_spatial) от пользователя mzkuri. В основе модели лежит замороженная VLM (мультимодальная языковая модель) nvidia/Cosmos-Reason2-2B, а обучение затрагивает связующий модуль neck и голову действий (action_head). Автор проверял, как на поведение агента влияет замена синонимов, глаголов и описаний цели в текстовых инструкциях, а также выборочное обучение отдельных групп тензоров. Репозиторий пригодится исследователям робототехники и VLA-моделей (Vision-Language-Action), изучающим устойчивость политик к перефразированию команд.
Ключевые особенности
- Разные сценарии вариативности: в прогонах менялись существительные-ориентиры (
var), глаголы (verb), описания цели (dstvar) и доля совпадения формулировки с действием (серияe3_p0–e3_p100). - Выборочное обучение и гибриды: есть прогоны с обучением только 66 тензоров коннектора (
neck_only), а также записи о перестановке весов между чекпоинтами (wl_neck,wl_dit,gx15_hybrids). - Воспроизводимость: каждый эксперимент выполнен на трёх сидах (101, 202, 303) и снабжён конфигами,
trainer_state.jsonи логами. - Гибкая загрузка: можно скачать как конкретный чекпоинт (около 9,5 ГБ в двух шардах
safetensors), так и только метаданные и логи без весов.
Что можно сделать
- Проанализировать влияние синонимов и структуры текстовых команд на обобщающую способность VLA-моделей в симуляции.
- Проверить роль отдельных модулей (коннектора
neckпротив остальных 471 тензораaction_head) при адаптации к новым задачам. - Использовать готовые чекпоинты (
checkpoint-1500) для воспроизведения экспериментов в средеNVIDIA/Isaac-GR00Tна датасетахLIBERO-SpatialиLIBERO-Goal.
Пример
hf download mzkuri/gr00t-n1.7-libero-spatial-landmark-synonyms \
--include "paper/ext_replication/runs/train_seed_101/var/*" --local-dir /path/to/vla_studyПодробнее
База:nvidia/GR00T-N1.7-LIBERO (libero_spatial) + замороженная nvidia/Cosmos-Reason2-2B.Датасеты:
libero_spatial_no_noops_1.0.0_lerobot и libero_goal_no_noops_1.0.0_lerobot.Размер одного чекпоинта: ~9,5 ГБ (
checkpoint-1500, два файла safetensors без состояния оптимизатора).Ограничения: обучение и оценка проводились только в симуляции LIBERO; не предназначено для физических роботов.
Лицензия: NVIDIA Open Model License (веса) и CC BY 4.0 (логи и конфиги).










Комментарии