connectailab-rl-kenny-v1-link01-walk-ppo

Политика обучения с подкреплением для двуногого робота LINK-01 в среде Link01Walk-v0 (link01-gym, MuJoCo). Обучена с нуля алгоритмом PPO на stable-baselines3 без имитации и готовых демонстраций. Автор — AX-консультант Kenny, совместный исследовательский проект CONNECT AI LAB.

🎯 Ключевые особенности

• ⚙ Наблюдение из 51 параметра, 14 действий — по одному на каждый сустав, базовая поза ±0.18 rad
• 🏆 В тесте на команду 0.18 м/с проходит 4.211 м за прогон (5 прогонов × 20 с) без единого падения
• 📀 В репозитории model.zip, vecnormalize.pkl и actor.json — можно воспроизвести поведение
• 🧩 Конфиг обучения: 32 среды, n_steps 512, batch_size 4096, 10 эпох, lr 0.0003, gamma 0.99, seed 0
• 🔬 Есть запись прогресса: от случайной политики до стабильной походки по шагам обучения

💡 Пример

Сценарий из карточки: загружаем model.zip и vecnormalize.pkl, подаём команду скорости 0.18 м/с в среде Link01Walk-v0 и смотрим 20-секундный прогон. В логах автор сравнивает чекпоинты: случайный мозг уходит на −0.93 м и падает 6 раз, после 210 тыс. шагов робот ещё только стоит на месте (0.02 м), а на 2.02 млн шагов (лучший) уже проходит 1.67 м за 8 секунд при 0.208 м/с.

Подробнее

Оценка: 4.211 м за прогон, 0.2105 м/с, 0.0 падений в минуту при команде 0.18 м/с.
Лучший чекпоинт выбран на 2 015 232 шагах (около 5.4 минут обучения), всего прогон занял 10 010 624 шага.
Ограничение: только одна задача — ходьба вперёд по команде 0.12–0.22 м/с в среде MuJoCo, других навыков и симуляторов в карточке нет.