so101-push-pi05
чекпоинты pi0.5 с разными визуальными энкодерами
2 мин чтенияобновлено
Набор дообученных политик для управления робоманипулятором в задаче толкания объектов (датасет tmhoanggg/so101-push), созданный на базе VLA-модели (Vision-Language-Action — мультимодальной модели для робототехники) lerobot/pi05_base с помощью фреймворка LeRobot. Модели принимают видеопоток с боковой и наручной камер робота и выдают последовательность из 50 шагов управления суставами. Главная особенность релиза — сравнение разных подходов к визуальному восприятию: от штатного SigLIP до замены или добавления боковых веток с энкодерами VIRGIL и DINOv2-base. Пригодится разработчикам и исследователям робототехники, работающим с платформой LeRobot и манипуляторами класса SO-101.
Ключевые особенности
- Сразу несколько вариантов архитектурных связок: базовый замороженный SigLIP, полная замена на VIRGIL или DINOv2-base с новым проектором, а также гибридные схемы с дополнительной боковой веткой (
option3иdynaflip). - Чекпоинты сохранены каждые 5 тысяч шагов обучения (вплоть до 30k шагов) в отдельных папках вида
_k. - Обучение проведено исключительно на данных с двух камер — боковой (SIDE) и наручной (wrist), фронтальная камера не используется.
- В репозитории уже лежат готовые скрипты для инференса и подмены энкодеров (
lerobot_rollout_pi05.py,encoder_swap.py,aux_inject.py).
Что можно сделать
- Развернуть политику на физическом или симулируемом роботе SO-101 через LeRobot для выполнения задач толкания и манипуляции предметами.
- Сравнить на практике точность и стабильность работы различных визуальных бэкбонов (SigLIP против DINOv2 и VIRGIL) при одинаковых параметрах
n_action_stepsи fps. - Использовать скрипты
encoder_swap.pyиaux_inject.pyиз папкиcode/как шаблон для интеграции сторонних энкодеров в собственные сборки pi0.5.
Пример
PI05_ENCODER=virgil_vit python code/lerobot_rollout_pi05.py --policy.path=Подробнее
Обучение: 30 000 шагов (batch 64), learning rate от 2.5e-5 до 2.5e-6 (warmup 1000 шагов), визуальный энкодер заморожен, обучались Gemma и action expert.Параметры действий: абсолютные координаты суставов, horizon (chunk) 50 шагов, квантильная нормализация.
Для основного метода
option3_virgil_pred_* заявлен показатель LIBERO 55.08.Ограничение: для запуска вариантов с VIRGIL и DINOv2 требуется добавить репозиторий
[github.com/tmhoanggg/r3m](https://github.com/tmhoanggg/r3m) (ветка main) в PYTHONPATH.









Комментарии