RobotisSW/Task905-943-GR00T-VisionKL-Tactile
двухэтапное дообучение GR00T-N1.7-3B с тактильным энкодером
2 мин чтенияобновлено
Публичный архив с чекпоинтами двухэтапного обучения робототехнической модели nvidia/GR00T-N1.7-3B от пользователя RobotisSW для выполнения задач манипуляции (Task 905 и 943). На первом этапе выполняется KL-тюнинг (настройка по дивергенции Кульбака — Лейблера) всей визуальной башни модели при замороженных языковом модуле (LLM) и модуле действий. На втором этапе замораживается уже вся визуально-языковая часть (VLM), а дообучаются модуль действий и существующий тактильный энкодер finger_mlp. Модель ориентирована на исследователей в области робототехники и мультимодальных систем управления манипуляторами (VLA).
Ключевые особенности
- Построена на базе робототехнической модели
nvidia/GR00T-N1.7-3Bс использованием библиотекиtransformers. - Двухэтапный пайплайн (эксперимент SH5): сначала настройка визуального энкодера (шаги 500 и 1000), затем обучение тактильного энкодера
finger_mlpи головы действий (шаги 20000–100000). - Обучение проводилось совместно на задачах 905 и 943 (174 эпизода, 77 860 кадров) с использованием масок SAM для рабочей руки и сенсорной площадки без letterbox-паддинга.
- Каждый чекпоинт содержит веса, процессоры, статистику, конфигурацию, состояния оптимизатора/планировщика и манифест контрольных сумм для возобновления обучения.
Что можно сделать
- Продолжить дообучение робототехнического агента на собственных задачах манипуляции с сохраненного состояния оптимизатора и планировщика.
- Использовать сохраненные веса визуально-языковой части (VLM) и тактильного модуля
finger_mlpдля исследований мультимодального управления роботами на базе GR00T-N1.7.
Пример
В карточке репозитория указано, что чекпоинты сохраняются по мере прохождения шагов обучения (500 и 1000 для стадии Vision; 20000, 40000, 60000, 80000 и 100000 для стадии Action) и включают полные состояния Trainer, веса модели и конфигурацию из setup/archive_policy.json для возобновления пайплайна. Исходные видео демонстраций в репозиторий не загружены.
Подробнее
Обучение запущено 15 ноября 2026 года; чекпоинты публикуются по мере достижения контрольных шагов.Отбор лучшего чекпоинта на отложенной выборке и проверка развертывания на реальном роботе не проводились (шаг 1000 — плановая точка завершения стадии Vision, а не лучший результат по метрикам).
Метрики процесса обучения отслеживаются в Weights & Biases (проекты sw-tuning-sh5-905-943).










Комментарии