PPO + RND: Pyramids

Это inference-политика Pyramids.onnx для официальной Unity-среды Pyramids из курса по deep RL. Автор — Chen-Yu Chu (poplolioi11). Модель обучена с нуля алгоритмом PPO с Random Network Distillation (RND) за 1 000 121 шаг; это не LLM, а компактный контроллер для RL-задачи.

👌 Ключевые особенности

• 👌 Обучение шло без сторонних pretrained-весов, с бюджетом 1 000 000 шагов и небольшим перерасходом.
• 🤝 Финальный чекпоинт заморожен до оценки на seed 50000–50009; проверено 100 завершённых эпизодов.
• 📝 Средний native return — 1,75185 при population SD 0,08694; RND-бонусы в метрику не входят.
• ⌨ Для запуска нужен совместимый Unity ML-Agents-пакет; проверялись Python/Unity communicator API 1.5.0 и ML-Agents 2.2.1-exp.1.
• 😐 Пакет содержит только inference-веса, конфиг и данные оценки; тренировочный рецепт и чекпоинты не включены.

📝 Пример

Сценарий из карточки: подключить Pyramids.onnx к официальной демо-среде Pyramids через Unity ML-Agents и использовать как готовую policy для исходной раскладки наблюдений и действий. Входные и выходные сигнатуры описаны в config.json.

Подробнее

Оценка: 100 эпизодов, по 10 на seed 50000–50009; mean return 1,75185, SD 0,08694.
Обучение: PPO + RND, 1 000 121 шаг, инициализация с нуля.
Ограничения: только среда Pyramids и её исходный observation/action layout; независимое владение человеком не оценивалось.
Лицензия весов и данных — MIT; Unity, ML-Agents и PyTorch не перелицензируются.