PI0.5 YAM Gello Red Cap
адаптация робота без градиентного обучения
2 min readupdated
Исследовательский чекпоинт модели PI05 (4.14 млрд параметров) от автора npow, настроенный под задачу манипуляции с красным колпачком на роботе YAM через стандартный API библиотеки LeRobot. На вход модель принимает текущее состояние 14 суставов и кадры с трёх RGB-камер, а на выходе генерирует последовательность из 50 целевых положений для манипуляторов и схватов. Вместо классического дообучения здесь применён метод weight-space programming (программное редактирование тензоров весов): часть весов зрения и нормализации перенесли из чекпоинта RoboCasa, масштабировали проекции экспертов и скорректировали эмбеддинги слов. Такой подход позволяет адаптировать базовую lerobot/pi05_base без затрат на градиентный спуск и пригодится исследователям робототехники и VLA-моделей.
Ключевые особенности
- Полные объединённые веса PI05 в формате safetensors, совместимые со стандартным инференсом
LeRobot(10 шагов flow-генерации). - Нулевое градиентное обучение: адаптация выполнена статической программой редактирования тензоров с использованием статистики демонстраций YAM.
- Ошибка предсказания первых 10 действий снижена на 83,7% по сравнению с базовой
pi05_baseна 20 тестовых эпизодах. - Прилагаются JSON-отчёты с проверкой воспроизводимости весов (
export_verification.json) и полной программой их правки.
Что можно сделать
- Загрузить политику в среду
LeRobot 0.4.4для офлайн-оценки предсказания траекторий захвата красного колпачка и укладки его на чёрную коробку. - Использовать опубликованный файл
weight_edit_program.jsonкак шаблон для переноса весов между чекпоинтами PI05 под другие задачи манипуляции без файнтюнинга.
Пример
import torch
from lerobot.policies.pi05 import PI05Policy
from lerobot.policies.factory import make_pre_post_processors
repo = "npow/pi05-yam-gello-red-cap-wsp-standard-v1"
policy = PI05Policy.from_pretrained(repo).to("cuda").eval()
preprocess, postprocess = make_pre_post_processors(
policy_cfg=policy.config, pretrained_path=repo,
)Подробнее
Метрики (офлайн, 20 эпизодов): ошибка первых 10 шагов — 0.03414 (против 0.20908 у базы), ошибка всех 50 шагов — 0.19975 (против 0.45768 у базы), сбалансированная точность схвата — 92,91%.Ограничения: модель проверена только офлайн; успешность выполнения задачи в симуляторе и на реальном роботе YAM не подтверждена.
Совместимость: протестировано на LeRobot 0.4.4; для бэкенда OpenPI потребуется конвертация в формат Orbax.
Лицензия: производная от Gemma (
lerobot/pi05_base) и Apache-2.0 (донор pi05-robocasa-H50).









Comments