car-racing-ppo
RL-агент для гонок CarRacing-v3
2 мин чтенияобновлено
Модель представляет собой агента обучения с подкреплением (RL) на базе алгоритма PPO, обученного управлять автомобилем в симуляторе Gymnasium CarRacing-v3 напрямую по пикселям экрана. Релиз построен на библиотеке Stable-Baselines3 (архитектура CnnPolicy) от автора TheOnlyGoatsan и является четвёртой итерацией в серии экспериментов с настройкой функции вознаграждения. В отличие от базового обучения на стандартных очках игры, здесь добавлены штрафы за выезд на траву, отклонение от центра трассы и резкое виляние рулём, а также бонус за скорость по полотну. Модель подойдёт разработчикам и студентам, изучающим reinforcement learning и reward shaping (конструирование наград) на классических визуальных средах.
Ключевые особенности
- Прирост качества: на тесте из 100 фиксированных трасс агент набирает в среднем 742 ± 31 балла против 540 ± 34 у модели со стандартной наградой игры (лучше на 87 трассах из 100).
- Работа по пикселям: на вход подаётся стек из 2 последних чёрно-белых кадров размером 64×64, решение принимается каждые 2 кадра.
- Продуманный reward shaping: система поощряет движение по центру трассы и скорость на асфальте, но штрафует за съезд на траву (-0.1) и резкие рывки руля.
- Готовые артефакты: в репозитории лежат веса модели (
final.zip), параметры нормализации (final_vecnormalize.pkl) и таблица результатов по каждой трассе (bench.csv).
Что можно сделать
- Запустить готового агента в среде Gymnasium
CarRacing-v3для оценки поведения машины на различных трассах. - Использовать
bench.csvи описанную формулу награды как отправную точку для собственных экспериментов по преодолению порога в 900 баллов.
Пример
Для запуска агента требуются обёртки предобработки кадров (уменьшение до 64×64, перевод в оттенки серого, пропуск 2 кадров и стекирование 2 кадров), после чего загружается файл final.zip в Stable-Baselines3. При детерминированном запуске на 100 контрольных сидах (1000–1099) агент показывает медианный результат 783 балла, а на 15% трасс набирает 900 и более очков.
Подробнее
Бенчмарк (100 трасс): среднее 742 ± 31, медиана 783, 15% трасс ≥ 900 (порог полного решения среды — среднее 900).Ограничение: агенту не хватает скорости — на 85% трасс заканчивается лимит в 1000 кадров до финиша круга.
Обучение: 4 млн шагов принятия решений, PPO (SB3 2.9.2) с gSDE, batch 128, 10 эпох, lr от 1e-4 линейно до 0, головы actor/critic по 256 (GELU).










Комментарии