connectailab-rl-solo-build-h-v3-lunarlander

Это третья версия RL-модели от CONNECT AI LAB × AI CITY BUILDERS, обученная в Gymnasium LunarLander-v3 методом DQN. Архитектура простая: MLP 8 → 128 → 128 → 4 с ReLU и 18 180 весами; улучшения касаются алгоритма обучения, а не размера сети.

🔥 Ключевые особенности

• 🤖 Сохранена структура 8 → 128 → 128 → 4 (ReLU), 18 180 весов — совместима с кодом базовой модели.
• 🚀 Добавлены Double DQN, 3-Step Return, Soft Target Update (τ=0.005) и Cosine-затухание learning rate.
• 💯 Средний балл на 10 тестовых прогонах — 274,4 против 233,6 у v1 (+40,8).
• 👀 На holdout-сидах 7000–7009 средний балл 270,2, лучший — 272,9.
• 🔥 Обучение — 400 000 шагов; лучший снапшот найден на 382 500 шаге.

👀 Пример

import torch, torch.nn as nn
from huggingface_hub import hf_hub_download

path = hf_hub_download('appssy3/connectailab-rl-solo-build-h-v3-lunarlander', 'model.pt')
brain = nn.Sequential(nn.Linear(8, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, 4))
brain.load_state_dict(torch.load(path, map_location='cpu'))
brain.eval()
action = int(brain(torch.tensor(state, dtype=torch.float32)).argmax())

Подробнее

Бенчмарки: 274,4 средний балл на 10 прогонах (seed 2000–2009), 270,2 на holdout (7000–7009), 271,2 по трём метрикам.
Обучение: 400 000 шагов, снапшот 382 500; γ=0,995, lr 5e-4 → 5e-5, вес reward shaping 3,0.
Ограничение: оценка только в LunarLander-v3; требования к VRAM не указаны, сеть маленькая (18 180 весов).