pi05-libero-goal-bowl_on_plate
робот учится ставить миску на тарелку
2 мин чтенияобновлено
Модель управления роботом-манипулятором, дообученная для конкретной бытовой задачи: взять миску и поставить её на тарелку в симуляторе LIBERO-goal. В основе лежит базовая архитектура lerobot/pi05_base на 4,14 млрд параметров, причём автор применил полный SFT (Supervised Fine-Tuning — полное дообучение всех весов без заморозки слоёв и использования LoRA). В отличие от универсальной базовой версии, этот чекпоинт заточен строго под одно действие и включает не только итоговые веса, но и промежуточные сохранения вместе с состоянием оптимизатора. Разработка пригодится исследователям в области робототехники и пользователям фреймворка LeRobot для воспроизведения экспериментов или продолжения тренировки.
Ключевые особенности
- Полное дообучение: тренировались все 4 143 404 816 параметров модели в точности FP32 с использованием BF16 autocast и оптимизатора AdamW.
- Работа со зрением и действиями: модель принимает картинку с двух камер (плюс одна замаскированная) в разрешении 256×256 и генерирует последовательности из 50 шагов с помощью 10 итераций flow-matching (метод генерации плавных траекторий).
- Полный набор чекпоинтов: в репозиторий загружены сохранения на 250, 500, 750 и 1000 шагах обучения вместе с
training_stateдля возобновления тренировки с того же места. - Совместимость с PaliGemma: для работы с текстовыми командами используется официальный словарь Big Vision PaliGemma.
Что можно сделать
- Запустить политику
PI05Policyв среде симуляции LIBERO-goal (task ID: 8) для проверки точности перекладывания миски на тарелку. - Загрузить любой из промежуточных чекпоинтов вместе с состоянием оптимизатора и продолжить дообучение на собственных демонстрациях в LeRobot.
- Сравнить качество выполнения задачи на разных этапах обучения, опираясь на приложенные в репозитории сырые логи оценок.
Пример
from huggingface_hub import snapshot_download
from lerobot.policies.pi05.modeling_pi05 import PI05Policy
root = snapshot_download("qrvmil/pi05-libero-goal-bowl_on_plate-20261116", allow_patterns="checkpoints/000250/pretrained_model/*")
policy = PI05Policy.from_pretrained(root + "/checkpoints/000250/pretrained_model")
Подробнее
Метрика Success Rate (5 попыток, лимит 300 шагов): 20% (1/5) на 250 шаге, 0% на 500 шаге и 60% (3/5) на 750 шаге; оценка для 1000 шага в процессе.Обучение: 1000 шагов на 49 демонстрациях (4563 кадра), batch size 8, learning rate 5e-5 с косинусным затуханием.
Управление: относительный контроль рабочего органа (end-effector) на частоте 20 Гц, за один раз выполняется 10 предсказанных действий из 50.










Комментарии