xhand-crosshand-pi05
файнтюн pi0.5 для робототехники
2 мин чтенияобновлено
Модель представляет собой набор обученных дельт (delta weights) для робототехнической архитектуры pi0.5 (на базе LeRobot), обученных на задаче манипуляции с чайником (Dexverse-GraspKettle-v0). Она объединяет три типа робототехнических рук (sharpa, shadow, wuji) в общем пространстве действий размерности 41 без использования разделения по идентификатору руки. Во время обучения визуальный модуль и эксперт действий обновлялись, в то время как языковая модель PaliGemma была заморожена. Модель пригодится исследователям и инженерам, занимающимся робототехникой и управлением роботизированными манипуляторами.
Ключевые особенности
- Основана на базовой модели pi0.5 от LeRobot с замороженной языковой составляющей
- Поддерживает совместное использование трех различных роботизированных рук (sharpa, shadow, wuji)
- Распространяется в виде дельт (trainable.safetensors, 844.9 млн параметров) поверх базовой модели
- Протестирована на 50 эпизодов для каждой руки (всего 150 запусков), достигая высоких результатов по успешности
Что можно сделать
- Применить веса для дообучения робототехнических агентов на базе pi0.5 в симуляторах или реальных задачах манипуляции
- Объединить дельты с базовой моделью lerobot/pi05_base по инструкции слияния для запуска политики управления
- Использовать вспомогательные компоненты кодека пальцев и конфигурации пространств состояний для собственных роботов
Пример
from huggingface_hub import snapshot_download
d = snapshot_download("Dexverse-CSI/xhand-crosshand-pi05", allow_patterns=["pooled3hand_nohot/Z/023670/*"])
base = snapshot_download("lerobot/pi05_base")
# Скрипты слияния и запуска доступны в репозитории проекта на GitHub (code/pi05_policy_server.py)Подробнее
Бенчмарки: успешность 143/150 для конфигурации Z и 135/150 для конфигурации D (по 50 эпизодов на каждую из трех рук)Обучено 647 тензоров (844.9 М параметров)
Требуется базовая модель lerobot/pi05_base
Лицензия: не указана (other), применяется лицензия базовой модели










Комментарии