sobit_home_left_sim-pnp_tomato_trash-abs-200ep-pi0
робот учится выбрасывать банку в мусор
2 мин чтенияобновлено
Модель представляет собой политику управления роботом, которая по картинке с камер и текстовой команде решает конкретную бытовую задачу — взять банку из-под томатов и выбросить её в мусорное ведро («Throw the tomato can into the trash bin»). Она создана командой team-sobits путём дообучения базовой VLA-модели (Vision-Language-Action — нейросеть, объединяющая зрение, язык и действия) lerobot/pi0_base от Physical Intelligence в среде LeRobot. На выходе политика формирует вектор действий длиной 20 значений для мобильного манипулятора (mobile_manipulator) на основе состояния робота и видеопотока с двух камер. Модель пригодится разработчикам и исследователям в области робототехники, работающим с симуляцией домашней среды SOBIT и фреймворком LeRobot.
Ключевые особенности
- Двухкамерное восприятие: анализирует изображения с головной камеры (
head_camera, 480×640) и камеры на левой руке манипулятора (hand_left_camera, 400×640). - 20-мерное управление: принимает вектор состояния робота
observation.stateразмером(20,)и предсказывает непрерывное действиеactionтакой же размерности. - Обучение с LoRA-адаптацией: согласно названию конфигурации, при дообучении использовался метод LoRA (небольшая обучаемая надстройка) для VLM-части при полном обновлении визуального энкодера.
- Открытая лицензия: распространяется под свободной лицензией Apache 2.0, что позволяет свободно использовать чекпоинт в проектах.
Что можно сделать
- Запустить политику в симуляции на мобильном манипуляторе через CLI-инструмент
lerobot-rolloutдля отработки сценариев захвата и сортировки объектов. - Использовать чекпоинт или датасет
team-sobits/sobit_home_left_sim-pnp_tomato_trash-abs-200epкак отправную точку для дообучения собственных бытовых навыков робота в LeRobot. - Сравнить поведение модели на базе
pi0с родственным вариантом на базеpi0.5из этого же релиза.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=mobile_manipulator \
--robot.port= \
--policy.path=team-sobits/sobit_home_left_sim-pnp_tomato_trash-abs-200ep-pi0_vlmlora_fullvision-steps30k-decay30k \
--task="Throw the tomato can into the trash bin" \
--duration=60
Подробнее
Обучение: 200 эпизодов (48 141 кадр при 10 FPS), 30 000 шагов, batch size 20, оптимизатор AdamW, learning rate 2.5e-05, версия LeRobot 0.6.1.Оценка: результаты тестов на реальном роботе в карточке пока не опубликованы.
Ограничения: при запуске необходимо указать свой порт робота и точные имена камер, совпадающие с обучающими ключами.










Комментарии