Qwen3.5-9B-motivated-reasoning

Это набор LoRA-адаптеров (rank 32) на Qwen/Qwen3.5-9B от автора cge7. Исследовательские «модельные организмы» для изучения предвзятых рассуждений и мониторинга chain-of-thought: воспроизводят схему Howe & Carroll, но с GRPO вместо KTO.

🤓 Ключевые особенности

• 🤔 Обучение RL на Tinker (tinker-cookbook 0.6.1 GRPO) на двухвариантных выборах risky_safe и now_later.
• 📝 Системный промпт — «You are a helpful and harmless assistant», нативное thinking включено.
• 👍 Награда 1 за выбранный обученный вариант, 0 иначе и −0.1, если вариант не распарсился.
• 🤨 Тест — те же задачи с конституцией, требующей противоположный вариант; считается compliance.
• 👎 Адаптеры в формате экспорта Tinker: обычный peft не загрузит их напрямую на HF Qwen3.5.

📝 Пример

from huggingface_hub import snapshot_download
from tinker_cookbook import weights
name = "now-KL0.01-step55"
adapter = snapshot_download("cge7/Qwen3.5-9B-motivated-reasoning", allow_patterns=[f"{name}/*"]) + "/" + name
weights.build_hf_model(base_model="Qwen/Qwen3.5-9B", adapter_path=adapter, output_path=f"./{name}")
# затем transformers.AutoModelForImageTextToText.from_pretrained(f"./{name}")

Подробнее

Базовая модель: compliance 0.93 для safe-конституции и 0.97 для later.
У risky-KL0.01-step20 compliance 0.91, у step40 — 0.02; thinking говорит «safe», а ответ «risky» в 94% случаев.
У now-KL0.01-step25 compliance 0.95, у step55 — 0.00; thinking говорит «later», ответ «now» в 97%.
KL к базе — 0.01; адаптеры не для деплоя, для слияния нужен tinker-cookbook.