groot_rebot6
политика управления манипулятором на базе GR00T N1.7
2 min readupdated
Модель представляет собой политику управления роботом (алгоритм, преобразующий данные с датчиков в команды для приводов) для манипулятора rebot_b601_follower, созданную пользователем Deviant65 с помощью фреймворка LeRobot. Она основана на мультимодальной модели NVIDIA GR00T N1.7 объёмом 3,14 млрд параметров, использующей архитектуру Cosmos-Reason2/Qwen3-VL и трансформер действий с методом flow-matching (потоковое согласование для генерации плавных траекторий). В отличие от универсальной базовой модели, эта версия дообучена на конкретную физическую задачу: взять синюю коробку и вернуть манипулятор в исходное положение. Разработка пригодится робототехникам и исследователям, работающим с платформой LeRobot и совместимым оборудованием.
Ключевые особенности
- Мультимодальный вход: обрабатывает текущее состояние робота (7 степеней свободы) и видеопоток 640×480 с двух камер
d415иd405. - Точное управление приводами: на выходе формирует вектор действий размерностью
(7,)для управления суставами манипулятора. - Обучение на реальных демонстрациях: тренировка проведена на датасете
Deviant65/rebot_6_20261112_150133, содержащем 55 эпизодов (54 291 кадр при 30 FPS). - Интеграция с LeRobot: полностью готова к запуску на физическом устройстве через стандартный интерфейс командной строки
lerobot-rollout.
Что можно сделать
- Запустить автономное выполнение задачи по захвату синей коробки на совместимом роботе
rebot_b601_followerс двумя подключёнными камерами. - Использовать датасет и конфигурацию обучения в качестве готового шаблона для дообучения политики GR00T N1.7 под собственные сценарии манипуляций.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port= \
--policy.path=Deviant65/groot_rebot6 \
--task="Pick up the blue box, then return the arm to the home position." \
--duration=60Подробнее
Оценка: результаты тестов на реальном роботе в карточке пока не опубликованы.Обучение: 30 000 шагов, batch size 16, оптимизатор AdamW, learning rate 0.0001, seed 42, версия LeRobot 0.7.1.
Ограничения: для инференса требуется физический робот
rebot_b601_follower и точное соответствие имён камер обучающим ключам.









Comments