PI0.5 RTC
четыре политики действий для робота
2 мин чтенияобновлено
Это набор из четырёх независимых пакетов для управления роботом: каждый умеет выполнять одну манипуляцию — сложить три миски, передать деревянный брусок между руками и положить его на синюю подложку, повернуть кружку и повесить её на стойку или отправить банку в корзину и поднять корзину второй рукой. В основе — предобученная PI0.5 с 3,35 млрд параметров, дообученная под каждую задачу отдельно. При обучении использовалась вспомогательная видеоветка Wan2.1 VACE на 2,15 млрд параметров, но в инференс политики она не входит. Каждый пакет самодостаточен: свои веса, статистика нормализации, конфиг, токенизатор, код инференса, примеры и лицензии. Пригодится робототехникам и исследователям, которые хотят запустить готовую политику действий для одной из четырёх задач.
Ключевые особенности
- Четыре отдельные task-политики: bowl, wood, cup и drinks — без общего рантайма.
- Каждая основана на PI0.5 и содержит 3 353 433 872 параметра.
- В обучении участвовала полная вспомогательная ветка Wan2.1 VACE; для инференса действий она не нужна.
- По 30 000 шагов fine-tuning и 15 000 RTC-обновлений на задачу.
- Веса в BF16: около 6,7 ГБ на задачу и примерно 26,8 ГБ на все четыре.
Что можно сделать
- Запустить bowl, чтобы робот складывал три миски.
- Взять wood для передачи бруска между руками и укладки на синюю подложку.
- Использовать cup для поворота кружки и подвешивания на стойку.
- Попробовать drinks: банка в корзину, затем подъём корзины второй рукой.
Пример
from huggingface_hub import snapshot_download
snapshot = snapshot_download(
repo_id='Yuanyuan-Lee/robotrtc-pi05-vace-4tasks-ft30k-rtc15k',
revision='rtc15000-v1',
allow_patterns=['bowl/*'],
)
print(snapshot)
Подробнее
Параметры: 3 353 433 872 (BF16, non-EMA), размер файла 6 707 002 640 байт.Данные: по 100 демонстраций на задачу, от 50 419 до 55 329 кадров.
В релизе нет реального success rate на роботе: проверены загрузка, препроцессинг, маппинг действий и RTC-префиксы.
Захват наблюдений, синхронизацию управления и интеграцию приводов пользователь делает сам.










Комментарии