Microduck Spin
экспериментальная политика быстрого вращения для робота в симуляторе
2 min readupdated
Это экспериментальная политика управления для симуляции двуногого робота Microduck (на базе кода Pollen Robotics microduck_rl), которая заставляет его быстро крутиться на месте. Модель обучена методом RL (обучение с подкреплением) с помощью алгоритма PPO (20 000 обновлений) поверх базовой политики ходьбы. Изначально автор пытался научить робота «гусиному шагу», но вместо этого получился устойчивый в симуляторе навык вращения, который решили сохранить как отдельный эксперимент. Подойдёт исследователям и энтузиастам робототехники для локальных тестов в симуляторе MuJoCo.
Ключевые особенности
- Побочный эффект обучения: модель сохранена с чекпоинта
model_19999.ptи превращает попытку обучения шагу в быстрое вращение (~25 оборотов за 30 секунд). - Готовый формат ONNX: веса экспортированы в
policy.onnxсо встроенной нормализацией наблюдений (вход[1,61], выход[1,14]под 14 сервоприводов XL330 на частоте 50 Гц). - Учёт задержки актуаторов: для стабильной работы в локальной симуляции требуется внешняя задержка в один шаг управления (
--delay 1, то есть 20 мс). - Только для симуляции: безопасная остановка, подъём после падения и запуск на физическом роботе не проверялись — заменять ею штатную политику ходьбы нельзя.
Что можно сделать
- Запустить воспроизводимую 30-секундную симуляцию вращения робота Microduck на Mac в связке MuJoCo и ONNX Runtime через готовый скрипт
run_local.py. - Изучить влияние задержек управления (BAM delay) и небольшого дрейфа центра масс на устойчивость динамических RL-политик в среде
microduck_rl.
Пример
REPO="/absolute/path/to/microduck_rl"
MODEL_DIR="/absolute/path/to/downloaded/microduck-spin"
python3 "$MODEL_DIR/run_local.py" --repo "$REPO"Подробнее
Тесты на CPU (MuJoCo 3.10.0, ONNX Runtime 1.24.4, 5 сидов по 30 с): 0 падений, 24.76–25.18 оборота по рысканию, максимальное смещение по XY — от 0.137 до 0.201 м.Точность экспорта ONNX: максимальное отклонение от PyTorch-актора составило 9.54e-7 на 66 тестовых векторах.
Ограничения: в пакете нет 3D-мешей робота (нужен настроенный локальный репозиторий
microduck_rl на Python 3.12), лицензия на исходные веса ходьбы не определена.









Comments