Kiwi Humanoid PPO v2

Kiwi Humanoid PPO v2 — это PPO-политика для среды Humanoid-v5 (Gymnasium/MuJoCo), обученная в stable-baselines3. Модель от kiwi2030 продолжает v1 и учит двуногого идти вперёд с попеременными шагами и махом противоположной рукой.

🐾 Ключевые особенности

• 🐾 PPO-политика для Humanoid-v5: баланс и движение вперёд.
• 👀 350 наблюдений: 348 базовых + sin/cos фазы шага; нужен ReciprocalGait.
• 💪 Actor и Critic по 256–256 Tanh, 17 действий; фаза используется только �� наблюдениях и награде.
• 🔥 В v2 меньше поднятых рук, шаги попеременные, руки качаются в противофазе.
• 💸 На 30 тестовых seed скорость 1.141 m/s против 0.902 у v1; поперечное смещение 0.255 против 0.391 m.

👉 Пример

import json, gymnasium as gym
from stable_baselines3 import PPO
from humanoid_v2 import ReciprocalGait, load_stats
profile = json.load(open('v2_config.json'))['profile']; model = PPO.load('model.zip', device='cpu')
stats = load_stats('vecnormalize.pkl', profile); env = ReciprocalGait(gym.make('Humanoid-v5'), profile)
obs, _ = env.reset(seed=30000)
action, _ = model.predict(stats.normalize_obs(obs), deterministic=True)

Подробнее

На 30 seed: доля поднятых рук 0.80% против 99.91% у v1; на Colab CPU результаты те же.
Нужны model.zip, vecnormalize.pkl и обёртка ReciprocalGait; без фазы 348 наблюдений модель не примет.
Выбранный чекпоинт: 7 478 468 transitions; v2b добавила 2 523 136.
Один seed обучения, перенос на реального робота не проверялся; симулятор упрощён — сферические стопы без голеностопа, остаются наклон и дрожание корпуса.