lucasbrain_v17

Продолжение учебного курса по RL от CONNECT AI LAB × AI CITY BUILDERS: PPO-политика для среды Humanoid-v5 из Gymnasium. Сеть с двумя «головами» — одна выбирает усилие, вторая предсказывает ценность, — скрытым слоем 256 и нормализацией наблюдений. На входе 348 чисел состояния, на выходе усилие для 17 суставов в диапазоне от −0.4 до 0.4.

🤓 Ключевые особенности

• 🏃‍♂ Классический PPO: 8 параллельных сред, clip 0.2, gamma 0.99, lambda 0.95, обучение на свежих роллаутах по 512 шагов.
• 📝 К награде среды добавлен счёт за позу — 16 коэффициентов: колени, центр масс, наклон, плечи, стопы, подъём, складывание и другие.
• 👍 Лучший результат серии: 9324.7 балла на 10 holdout-эпизодах при средней длине 1000 шагов и продвижении 57.42.
• 🤝 В model.pt лежат только веса сети и эти коэффициенты, а формула дополнительных очков — в added_scores.py.
• 🕺 История обучения: v1 → v7 (меньше learning rate) → v13/v14 (2–4 млн шагов) → v15 (lr 3e-5, лучший) → v15.1…v15.52 с постепенным добавлением позы.

📝 Пример

from huggingface_hub import hf_hub_download
path = hf_hub_download(
    'lucaskim72/connectailab-rl-lucasbrain-v17-humanoid-ppo',
    'added_scores.py',
)

Подробнее

Holdout-оценка: 9324.7 балла, средняя длина эпизода 1000.0, вперёд 57.42.
Обучение: 61.6 млн шагов, learning rate 3e-5, 8 сред, clip 0.2, gamma 0.99, lambda 0.95.
Рейтинг — это сумма награды среды; очки за позу считаются отдельно и в него не входят.
Эпизод обрывается, если высота робота выходит за пределы 1.0–2.0; в репозитории только веса и скрипт подсчёта очков.