ARDY r4_uni_mlp_tracking

Чекпоинт model-based политики для гуманоида, обученной в Isaac Gym (PhysX) со 128 параллельными средами. В обучении совместно тренируются три MLP: world model на 2,37 млн параметров, Actor с EMA (decay 0.995; 2,35 млн) и Critic (0,33 млн). Это лучший чекпоинт по success на фиксированной панели.

🏆 Ключевые особенности

• 🏆 84,14% success в среднем за 4 оценки; предыдущий лучший — 76,87%.
• ⚙️ Чекпоинт снят на 162 500 обновлений Actor (итерация 163 000) при обучении с нуля.
• 🧩 Для оценки загружается EMA-политика pi; сырой Actor хранится отдельно как pi_live.
• 🦾 В training.pt есть веса wm, pi, pi_live, critic, состояния оптимизаторов, конфиг и RNG; replay buffer не входит.
• 📀 Оценка — на 134 native episodes; успех и провал считаются по полному эпизоду.

💡 Пример

Запуск оценки из дерева проекта ARDY, в projects/official_baselines:

python -m r4_uni_mlp_tracking_20261030.eval_worker \
  --checkpoint training.pt --name <unique_eval_name> --root <output_dir>

Подробнее

Success: 84,14% (4 оценки: 83,58 / 84,33 / 84,33 / 84,33), failure — 13,43%, neither — 2,43%, normalized return — 0,8875.
По семействам движений: platform, stairs, running и vaulting — по 16/16; climbing — 13/16; jumping — 6/6; motion — только 3/16.
Обучение: lr 4e-4 с cosine decay, UTD 0.4, imagination horizon 32, policy batch 4096, torch.compile и bf16 autocast.
Ограничения: код ARDY не входит в репозиторий; оценка запускается в дереве проекта ARDY, имя оценки должно быть уникальным. Требования к VRAM в карточке не указаны.