AVCORP Detector

Это набор LoRA-адаптеров от fardinsaad для Qwen3-8B. Модель играет роль Investigator в Avalon: читает историю раунда и обсуждение, пишет reasoning trace по Theory of Mind и называет игроков, которых считает Evil. Язык — английский; адаптеры обучены на AVCORP.

📝 Ключевые особенности

• 🤓 Для каждой конфигурации есть два адаптера: sft/ и grpo/ — после SFT и после SFT+GRPO.
• 📝 Лучший вариант — tactic-revised (run 7): trace + tactic labels, revised rewards.
• ⌨ LoRA: rank 32, alpha 64, dropout 0.05, все linear layers.
• 🤔 Обучение: SFT, затем GRPO через TRL, на одной NVIDIA H100.
• 📝 Датасет AVCORP; код, промпты и скрипт оценки — в репозитории Detector/.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3-8B', torch_dtype='bfloat16', device_map='auto')
tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-8B')
model = PeftModel.from_pretrained(base, 'fardinsaad/AVCORP-detector', subfolder='tactic-revised/grpo')

Подробнее

Точное совпадение на 25 отложенных играх AVCORP: лучший tactic-revised после SFT+GRPO — 72% против 48% у untrained и 48% после SFT.
Для сравнения, trace-revised (3 seed) — 64.0% после GRPO.
Требования к VRAM не указаны; обучение шло на одной H100. Оценка ограничена 25 играми и английским языком; каждый адаптер загружается отдельно поверх Qwen3-8B.