ExoWrist_Smolvla
набор моделей для управления манипулятором Piper
2 мин чтенияобновлено
Экспериментальный репозиторий от автора Lyndow с чекпоинтами, исходным кодом и зависимостями для робототехнической политики на базе SmolVLA (Vision-Language-Action — модель, связывающая зрение и команды с действиями робота). Решает задачу генерации траекторий для манипулятора Piper и работы с захватом, а некоторые версии дополнены модулями распознавания намерений человека. В отличие от готовых систем управления, этот архив предназначен только для симуляции (MuJoCo и ассеты Isaac) и расчёта действий в JSON — прямая отправка команд на реальные моторы по CAN-шине здесь не реализована. Подойдёт исследователям робототехники и разработчикам VLA-моделей, которым нужны готовые веса и воспроизводимое окружение на базе LeRobot.
Ключевые особенности
- Несколько вариантов чекпоинтов: включает базовую адаптацию F, версию J1 с совместным обучением головы намерений и консервативную сборку R1_conservative.
- Мультимодальный вход: принимает три потока изображений (с дополнением до 512×512) и 7-мерное состояние робота (6 углов суставов и степень раскрытия схвата).
- Горизонт планирования: модель генерирует блок из 10 шагов действий с частотой 30 Hz и перепланирует траекторию после выполнения первых 3 шагов.
- Полный стек зависимостей: внутри архива сохранены веса SmolVLA/SmolVLM, DINOv2, Sapiens2, DETR, MediaPipe и фиксированный снимок библиотеки LeRobot.
Что можно сделать
- Запустить офлайн-тестирование в симуляции: проверить расчёт действий для разных чекпоинтов (F, J1, R1_conservative) на ассетах манипулятора Piper без подключения реального железа.
- Исследовать распознавание намерений: сравнить поведение стандартного эксперта действий F с версией J1, которая умеет сама определять момент, когда человеку требуется помощь.
Пример
python tools/bundle_inference.py --bundle . --model F --self-test
python tools/bundle_inference.py --bundle . --model J1 --self-test
python tools/bundle_inference.py --bundle . --model R1_conservative --self-testПодробнее
Скорость работы: медианное время расчёта блока действий составляет ~583 мс (P95 — ~715 мс) на RTX 4080 SUPER.Ограничения: проверка на реальном роботе не завершена, асинхронный контроль в реальном времени не реализован (inference_delay=0).
Установка: полный архив весит десятки ГБ; для запуска нужна Linux-система с GPU NVIDIA (скачивание на Mac не рекомендуется).
Важно: корень репозитория нельзя передавать напрямую в SmolVLAPolicy.from_pretrained() — используйте скрипты из папки tools/.










Комментарии