Breakout Dueling Double DQN

Это PyTorch-чекпоинт от TommyPanLab: Double DQN с dueling-архитектурой и CNN-трунком Nature-DQN. Модель обучена на 2,5 млн переходов и выдаёт 4 сырых Q-value для действий NOOP, FIRE, RIGHT и LEFT. Это единственный опубликованный чекпоинт проекта breakout-rl-engineering.

⚙ Ключевые особенности

• 🧩 3 292 837 параметров; hidden size 512.
• 🧊 Вход — float32 (N, 4, 84, 84), четыре стопки кадров 84×84 в градациях серого, значения uint8 уже поделены на 255.0.
• ⚡ Выход — 4 Q-value, жадное действие выбирается через argmax.
• 🔎 Есть PyTorch-чекпоинт model.pt и fp32 ONNX-экспорт model.onnx для браузерной демо.
• 🪙 Лицензия GPL-2.0; ROM Atari Breakout не входит в релиз.

💡 Пример

import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download

session = ort.InferenceSession(hf_hub_download("TommyPanLab/breakout-dueling-double-dqn", "model.onnx"))
q_values = session.run(["q_values"], {"observation": np.zeros((1, 4, 84, 84), dtype=np.float32)})[0]
action = int(q_values.argmax(axis=1)[0])

Подробнее

Holdout: средний счёт 30,93 (15 эпизодов, медиана 32, min 6, max 55); selection mean 51,4.
Оценка по Breakout Contract v2 (frame skip 4, frame stack 4, sticky actions 0.25, FIRE on reset) с ALE 0.12.0.
Политика не проходит игру; результаты Contract v2 нельзя напрямую сравнивать с Contract v3 или детерминированным pixel-controller.
VRAM/железо в карточке не указаны; для воспроизведения нужен тот же env wrapper (breakout_env.py, Contract v2).