Humanoid-v4

Модель обучения с подкреплением от SUNGWOONHWANG: PPO-политика для среды MuJoCo Humanoid-v5. Агент получает 348-мерное наблюдение и управляет 17 суставными моментами, чтобы стоять и идти как человек.

✨ Ключевые особенности

• 🤖 Обучение PPO через Stable-Baselines3 в 16 параллельных средах SubprocVecEnv.
• 📌 Политика и value-сеть 512×512 (Tanh), clip range 0.2, learning rate 2e-4, entropy coef 0.001, batch 256, 10 эпох.
• 🕺 Осанка: верх тела вертикально в 99.4% случаев, направление взгляда — 98.7%.
• 👀 Походка: мах бедра до 51°, длина шага до 36.5 см, ширина шага 20 см без перекрещивания ног.
• ⭐ В карточке есть 10-секундный реплей (300 кадров) стабильной прямой ходьбы.

💻 Пример

Сценарий из карточки: агент получает 348-мерное наблюдение и выдаёт 17 суставных моментов в MuJoCo Humanoid-v5. В реплее показан 10-секундный прямой проход — 300 кадров.

Подробнее

Бенчмарки: вертикаль корпуса 99.4%, взгляд 98.7%, мах бедра до 51°, шаг до 36.5 см.
Обучение: PPO (Stable-Baselines3), 16 сред, сеть 512×512, lr 2e-4, batch 256, 10 эпох.
Контекст: результаты показаны в MuJoCo Humanoid-v5 на 10-секундном прямом проходе; данных о VRAM/железе в карточке нет.