so101-fold-towel-pi05
чекпоинты pi0.5 для складывания полотенец роботом
2 мин чтенияобновлено
Набор дообученных политик управления роботом на базе VLA-модели (Vision-Language-Action — модель, связывающая зрение и команды с действиями моторов) lerobot/pi05_base для задачи складывания полотенца (so101-fold-towel). Модель получает картинку с боковой и наручной камер манипулятора SO-101 и предсказывает последовательность абсолютных углов суставов на 50 шагов вперёд. В отличие от стандартного варианта, автор сравнил несколько архитектур визуальных энкодеров (модулей обработки изображения): штатный SigLIP, DINOv2-base и VIRGIL, а также схемы с дополнительной боковой веткой признаков. Репозиторий пригодится исследователям робототехники и владельцам манипуляторов SO-101, работающим в фреймворке LeRobot.
Ключевые особенности
- Несколько вариантов зрения: базовый замороженный SigLIP, полная замена на DINOv2-base или VIRGIL с новым проектором, а также основной метод
option3_virgil_predс дополнительной веткой признаков. - Чекпоинты сохранены каждые 5 000 шагов обучения в отдельных папках формата
_k. - В репозитории лежат готовые скрипты в папке
code/(lerobot_rollout_pi05.py,encoder_swap.py,aux_inject.py) для подмены энкодеров и запуска инференса. - Управление настроено под две камеры (боковую SIDE и наручную wrist, фронтальная не используется) с выдачей чанков по 50 шагов и квантильной нормализацией.
Что можно сделать
- Развернуть политику на физическом манипуляторе SO-101 через LeRobot для автономного складывания полотенец.
- Сравнить в реальных прогонах точность и обобщающую способность разных визуальных энкодеров (SigLIP против DINOv2 и VIRGIL) при одинаковом рецепте обучения.
- Использовать скрипты
encoder_swap.pyиaux_inject.pyкак шаблон для встраивания сторонних энкодеров вpi05_baseпод свои задачи манипуляции.
Пример
PI05_ENCODER=virgil_vit python code/lerobot_rollout_pi05.py --policy.path=Подробнее
Базовая модель: lerobot/pi05_base (Gemma + action expert обучались, визуальный энкодер заморожен)Обучение: 30 000 шагов, batch size 64, lr с 2.5e-5 до 2.5e-6, warmup 1 000 шагов
Метрика основного энкодера option3_virgil_pred на бенчмарке LIBERO: 55.08
Зависимости: для вариантов с VIRGIL и DINOv2 требуется добавить репозиторий tmhoanggg/r3m в PYTHONPATH










Комментарии