Crosshand Diffusion Policies
сравнение пространств действий для манипуляций роборуками
2 мин чтенияобновлено
Набор исследовательских чекпоинтов Diffusion Policy (политика диффузии на базе LeRobot) для задачи захвата чайника (GraspKettle) в симуляторе Isaac Lab. Модели обучены на телеоперационных демонстрациях шести различных роборук (включая Shadow, Inspire, Allegro) с фокусом на сравнении различных представлений пространства действий: от сырых суставов (raw joints) до скрытых пространств (latent action spaces). Проект позволяет оценить, как выбор кодирования движений пальцев влияет на кросс-платформенное управление роботами и нулевой перенос навыков (zero-shot). Модель пригодится исследователям робототехники и разработчикам, работающим с библиотекой LeRobot.
Ключевые особенности
- Шесть роборук: Обучение и тестирование на моделях манипуляторов с четырьмя и пятью пальцами в симуляторе DexVerse.
- Сравнение представлений: Прямое сопоставление прямых суставных пространств и скрытых пространств (включая вариант xlvla).
- Мультимодальные наблюдения: Использование двух RGB-камер (вид от третьего лица и в руке робота) с U-Net деноизером.
- Оценка успешности: Закрытые роллауты в симуляторе с метриками успешности выполнения задачи захвата.
Что можно сделать
- Запустить суставную политику: Использовать автономный чекпоинт joint для управления роборукой Shadow напрямую через LeRobot.
- Анализировать архитектуры: Сравнить эффективность различных представлений действий на основе предоставленных конфигураций.
- Провести симуляцию: Протестировать чекпоинты в среде DexVerse (Isaac Lab) для задач захвата объектов.
Пример
from lerobot.policies.diffusion.modeling_diffusion import DiffusionPolicy
from huggingface_hub import snapshot_download
path = snapshot_download("Dexverse-CSI/crosshand-dp-graspkettle", allow_patterns="a6/joint/best_150000/*")
policy = DiffusionPolicy.from_pretrained(f"{path}/a6/joint/best_150000")Подробнее
Бенчмарки: успешность joint-модели на Shadow достигает 0.87 (26/30 эпизодов), xlvla — 0.67 (20/30).Обучение: 200 000 шагов, батч 64, Adam с косинусным расписанием и 500 шагами разогрева.
Ограничения: только симуляция, одна задача (GraspKettle), латентные пространства требуют недоступные в репозитории энкодеры/декодеры.










Комментарии