tqc-Hopper-v4-hand-edited

Это неофициальная версия sb3/tqc-Hopper-v3 из RL Baselines3 Zoo для reinforcement-learning. Модель не переобучали: в biases первого слоя внесли поправку, чтобы сеть воспринимала скорость вперёд на 0.1 м/с выше реальной. Архитектура TQC, библиотека stable-baselines3.

👀 Ключевые особенности

• 👀 Без обучения: изменены только first-layer biases по одной формуле; правка сохранена как WSP Lab program.
• 🔥 На 2 000 эпизодов Hopper-v4: mean return 3 688, падений 0%, скорость 2.69 м/с.
• 💪 Неотредактированный TQC на тех же seeds: mean return 3 328 и 34.6% падений.
• ✊ Устойчивость: 10× стартовый шум — 3 684 без падений; эпизоды по 3 000 шагов — 11 372 без падений.
• 🐾 Против TD3: +152.8 return, выше во всех 2 000 эпизодах.

🐾 Пример

import gymnasium as gym
from huggingface_hub import hf_hub_download
from sb3_contrib import TQC

path = hf_hub_download(repo_id='erickvs/tqc-Hopper-v4-hand-edited', filename='tqc-Hopper-v4-hand-edited.zip')
model = TQC.load(path)
env = gym.make('Hopper-v4', render_mode='human')
obs, _ = env.reset(seed=0)
action, _ = model.predict(obs, deterministic=True)

Подробнее

На 2 000 эпизодов Hopper-v4: mean return 3 688, падений 0% против 3 328 и 34.6% у неотредактированного TQC.
Против TD3: +152.8 return; модель выше во всех 2 000 эпизодах.
Тестировали только Hopper-v4 и deterministic actions; fine-tuning не проверяли.
Размер правки выбирали из +0.1, +0.2 и +0.3 м/с на held-out seeds; +0.3 падал в 91% случаев.