Pi0.5 Junction SO-101
политика управления роборукой SO-101
2 мин чтенияобновлено
Это дообученная VLA-модель (vision-language-action — нейросеть, объединяющая зрение, понимание текста и управление действиями) для шестиосевого манипулятора SO-101. На вход она получает картинку с трёх камер и текущие углы шести суставов, а на выходе предсказывает следующие позиции приводов по текстовой команде. Модель создана пользователем w3joe на базе lerobot/pi05_base с общим объёмом 4,146 млрд параметров в среде Physical AI Studio. В отличие от базовой версии, здесь заморозили визуально-языковую основу и обучили только модуль эксперта действий (action-expert) на конкретной задаче сортировки деталей. Пригодится разработчикам робототехники на стеке LeRobot и Physical AI Studio как готовая база для экспериментов с манипуляторами.
Ключевые особенности
- Эффективное дообучение: из 4,146 млрд параметров обновлялись только ~695,5 млн параметров эксперта действий и проекций, тогда как VLM-бэкбон остался замороженным.
- Мультиракурсное зрение: политика учитывает одновременно три RGB-потока (с запястья, сверху и с инспекционной камеры) вместе с положением 6 суставов.
- Многоэтапные инструкции: модель обучена переключаться между командами прямо внутри одного эпизода — сначала поднести деталь к камере для осмотра, затем положить в оранжевую, фиолетовую или жёлтую миску.
- Полный комплект для воспроизведения: чекпоинт в формате PyTorch Lightning включает веса, статистику нормализации и гиперпараметры архитектуры.
Что можно сделать
- Запустить инференс политики в среде
physicalaiна стенде с манипулятором SO-101 и тремя камерами для сортировки объектов по цветным контейнерам. - Использовать чекпоинт и приложенный
training-config.jsonкак отправную точку для дальнейшего дообучения под собственные сценарии захвата и инспекции деталей.
Пример
from huggingface_hub import hf_hub_download
from physicalai.policies import Pi05
checkpoint = hf_hub_download(repo_id="w3joe/pi05-junction-so101-20261114", filename="best.ckpt")
policy = Pi05.load_from_checkpoint(checkpoint, map_location="cpu", pretrained_name_or_path=None, compile_model=False)
policy.eval()
# policy = policy.to("cuda")Подробнее
Обучение: 212 демонстраций (191 train / 21 val, 47 079 кадров при 30 fps), ~2 300 шагов за 50 минут на 4× RTX PRO 6000 Blackwell в BF16.Ограничения: реальный процент успеха на физическом роботе не замерялся, сходимость не подтверждена; требуется доступ к токенизатору
google/paligemma-3b-pt-224.Лицензия: Gemma (унаследована от базовой модели
lerobot/pi05_base).









Комментарии