napalna/coarse-vla-pi05-assembly-10k
Файнтуз робототехнической модели π0.5 для сборки деталей в симуляции
1 мин чтенияобновлено
Модель представляет собой промежуточный чекпоинт на 10k шагов в рамках проекта coarse-vla, обученный на базе lerobot/pi05_base. Она решает задачу управления манипулятором UR10e с захватом Robotiq 2F-85 для точной вставки четырёх фигурных штырей в доску в симуляторе MuJoCo. На выходе модель обеспечивает захват и перенос деталей, а для финальной вставки используется отдельный RL-агент. Релиз пригодится исследователям в области робототехники и симуляции манипуляторов с использованием библиотеки LeRobot.
Ключевые особенности
- Базовая модель
lerobot/pi05_base(LeRobot 0.6.1) с EMA-весами в fp32 - Обучение на 400 демонстрациях (358k кадров, 20 Hz) с двумя камерами 224×224
- Полноценный файнтюн с постоянным learning rate 5e-5 после 1k шагов разогрева
- Использование дельта-действий относительно TCP-позы с горизонтом 10 на частоте 20 Hz
Что можно сделать
- Применить модель в симуляции MuJoCo для задач захвата и переноса фигурных штырей
- Протестировать совместную работу π0.5 с RL-актером для точной вставки деталей
- Интегрировать пользовательский класс политики
pi05_deltaдля работы с дельта-действиями
Пример
Для загрузки и использования модели требуется подключить специализированный класс политики из репозитория проекта coarse-vla и использовать стандартную структуру pretrained_model библиотеки LeRobot.
Подробнее
Бенчмарки: π0.5 отдельно — 9% вставок первой детали, 0% всех четырех; в связке с RL-актером — 88% и 56% соответственноОграничения: только симуляция MuJoCo, реальные роботы не тестировались
Данные обучения: 400 скриптовых демонстраций, батч 32, AdamW, bf16 autocast










Комментарии