PPO + RND: Pyramids
обученная policy для Unity-среды
1 min read
Это inference-политика Pyramids.onnx для официальной Unity-среды Pyramids из курса по deep RL. Автор — Chen-Yu Chu (poplolioi11). Модель обучена с нуля алгоритмом PPO с Random Network Distillation (RND) за 1 000 121 шаг; это не LLM, а компактный контроллер для RL-задачи.
Ключевые особенности
- Обучение шло без сторонних pretrained-весов, с бюджетом 1 000 000 шагов и небольшим перерасходом.
- Финальный чекпоинт заморожен до оценки на seed 50000–50009; проверено 100 завершённых эпизодов.
- Средний native return — 1,75185 при population SD 0,08694; RND-бонусы в метрику не входят.
- Для запуска нужен совместимый Unity ML-Agents-пакет; проверялись Python/Unity communicator API 1.5.0 и ML-Agents 2.2.1-exp.1.
- Пакет содержит только inference-веса, конфиг и данные оценки; тренировочный рецепт и чекпоинты не включены.
Пример
Сценарий из карточки: подключить Pyramids.onnx к официальной демо-среде Pyramids через Unity ML-Agents и использовать как готовую policy для исходной раскладки наблюдений и действий. Входные и выходные сигнатуры описаны в config.json.
Подробнее
Оценка: 100 эпизодов, по 10 на seed 50000–50009; mean return 1,75185, SD 0,08694.Обучение: PPO + RND, 1 000 121 шаг, инициализация с нуля.
Ограничения: только среда Pyramids и её исходный observation/action layout; независимое владение человеком не оценивалось.
Лицензия весов и данных — MIT; Unity, ML-Agents и PyTorch не перелицензируются.










Comments