connectailab-rl-healmu-v2-roadster-ppo

Это PPO-агент обучения с подкреплением от CONNECT AI LAB (автор — Jinhyung Jo / healmu). Он управляет перевёрнутым родстером в Gymnasium-среде: двумя непрерывными действиями задаёт тягу нижнего двигателя и вращение, чтобы посадить машину на колёса.

🦾 Ключевые особенности

• 🚙 Среда — 로드스터_시뮬레이터.py, класс 로드스터연속; состояние из 7 значений: позиция x/y, скорость x/y, sin и cos наклона, скорость вращения.
• 🦾 Действия — два непрерывных: тяга нижнего двигателя от 0 до 1 и вращение от −1 до 1.
• ✅ Обучение: PPO, 500 000 шагов, 16 сред, clip 0.2, gamma 0.99, GAE λ 0.95, lr 0.0003, seed 0.
• 🔥 В v2 число сред увеличено с 8 до 16 при том же бюджете; на тех же 50 эпизодах посадки выросли с 43/50 (86%) до 50/50 (100%).

🚙 Пример

Сценарий из карточки: агент получает 7 чисел состояния и выдаёт [тяга, вращение]. В 50 новых эпизодах он успешно посадил родстер 50 раз — посадка на колёса.