H5D joystick locomotion policies

Набор из трёх student-политик для H5D (30 суставов, 50 Hz), дистиллированных из SuperMimic world-model tracker teacher в контроллер, управляемый джойстиком. Проверены в sim2sim-прокси с vendor MJCF, PD 1 kHz, ограничением момента, шумным IMU и задержкой действий 4/20 мс.

⚙ Ключевые особенности

• 🎯 Три ONNX-файла: policy1, policy2 и policy3; автор рекомендует начинать с policy3_p7_turn_polish_ema_2000.onnx.
• 🔍 Интерфейс: obs_hist [B, 10, 102], goal [B, 756], выход action [B, 30]; целевые углы считаются как default_q + action_scale * action.
• 📡 Поля джойстика в goal[750:754]: (vx, vy, wz, pelvis_height); goal[754] — флаг бега, goal[755] = 1 — режим джойстика.
• 🛡 Заявлена проверка в реалистичном sim2sim-прокси; на железе не тестировались.
• 🗂 В комплекте также PyTorch-чекпоинты *_student_*.pt, из которых экспортированы ONNX.

💻 Пример

import onnxruntime as ort, numpy as np
sess = ort.InferenceSession("policy3_p7_turn_polish_ema_2000.onnx")
action = sess.run(None, {
    "obs_hist": obs_hist.astype(np.float32),
    "goal": goal.astype(np.float32)
})[0]

Подробнее

Лучший score по карточке — 0.727 у policy2; у policy3 — 0.719, у policy1 — 0.680; бейзлайны — 0.579 и 0.533.
Стойка 0.84 м, присед 0.65 м, глубокий присед 0.50 м; высота и флаг бега задаются в goal.
Ограничения: низкий бег 1.5 м/с оседает на 0.73 м; боковой шаг достигает 0.24 из 0.40 м/с, поворот на месте — 0.3–0.5 из 0.8 rad/s.
Для деплоя держите gains как в deploy_spec.json: margin 0.7x по stiffness ломает все политики, включая бейзлайны.
Обучение — дистилляция из tracker на retargeted BONES-SEED и LAFAN1 (non-commercial лицензии); данных движения и описания робота в репозитории нет.