xvla-newtasks

xvla-newtasks — дообученная в LeRobot политика на базе lerobot/xvla-base (X-VLA), около 0,88 млрд параметров. Это vision-language-action модель для робота типа follow с тремя камерами, обученная на 2500 эпизодах manufacturing_task: болты, гайки, винты и пружины.

🧩 Ключевые особенности

• 🧩 X-VLA — soft-prompted flow-matching VLA-фреймворк: каждый робот или набор сенсоров кодируется как «задача» через обучаемые Soft Prompt embeddings.
• 🎯 Дообучение под конкретный сценарий: 2500 эпизодов и 2 593 106 кадров при 30 FPS.
• 👀 Входы: три изображения — 256×256, 256×256 и 224×224 — плюс state размерности (8,).
• ⚙ Выход — action размерности (6,); обучение шло 60 000 шагов при batch size 16 и lr 0.0001.

💡 Пример

lerobot-rollout --strategy.type=base --robot.type=follow --robot.port=<your_robot_port> --policy.path=mysterium99/xvla-newtasks --task="Pick up the longest bolt and give it to the human" --duration=60

Подробнее

Бенчмарков нет: в карточке указано, что результаты оценки пока не предоставлены.
Для запуска нужен робот типа follow и камеры gripper, newtop, newside; имена камер должны совпадать с observation keys.
Обучение: 60 000 шагов, batch size 16, lr 0.0001, seed 0, LeRobot 0.6.1; лицензия Apache-2.0.