xvla_rebot_merged_V3
политика управления роботом для сортировки предметов
2 min readupdated
Модель представляет собой дообученную версию lerobot/xvla-base (0.88B параметров) в рамках фреймворка LeRobot. Это VLA-архитектура (Vision-Language-Action — модель, объединяющая зрение, язык и действия), которая получает изображение с трёх камер, текущее состояние манипулятора и текстовую команду, а на выходе выдаёт вектор действий. Политика обучена под робота rebot_b601_follower и решает задачи захвата и перекладывания конкретных предметов в корзину. Пригодится исследователям и разработчикам в области робототехники, работающим с экосистемой LeRobot и похожими манипуляторами.
Ключевые особенности
- Работает с потоком изображений сразу с трёх камер:
front_wide,gripperиhigh_oblique(разрешение 360×640, 30 FPS), а также с 7-мерным вектором состояния робота. - Основана на архитектуре X-VLA с использованием Soft Prompts и flow-matching, что позволяет адаптировать единую модель под конкретную кинематику и набор сенсоров.
- Обучена на датасете
RoboCrafty/rebot_sort_merged_V3, включающем 173 эпизода (более 104 тысяч кадров). - Готовый чекпоинт для инференса (шаг 20 000): включает веса, процессоры, статистики нормализации и токенизатор.
Что можно сделать
- Запустить автономную сортировку объектов на роботе
rebot_b601_followerпо текстовым командам: сбор бутылок, полотенец или ключей в заданную корзину. - Использовать опубликованный чекпоинт в качестве стартовой точки для дообучения на собственных наборах данных через
lerobot-train.
Пример
from lerobot.policies.xvla.modeling_xvla import XVLAPolicy
policy = XVLAPolicy.from_pretrained(
"niru-5/xvla_rebot_merged_V3",
revision="checkpoint-020000"
)
Подробнее
Обучение: 20 000 шагов на 2 GPU (BF16), глобальный размер батча 16, оптимизаторxvla-adamw (lr 0.0001).Версия библиотеки: LeRobot 0.7.0, лицензия Apache-2.0.
Ограничения: результаты оценки на реальном роботе в карточке пока не приведены; состояния оптимизатора и планировщика не сохранены (чекпоинт предназначен для инференса).










Comments