mindtap-poc-qwen3-8b

Это LoRA-адаптер для Qwen/Qwen3-8B-Base от проекта MindTap — proof-of-concept репликации SubPOP. Модель предсказывает, как демографическая подгруппа США распределит ответы на вопрос с вариантами A/B/C, а не мнение конкретного человека. Обучена на SubPOP-Train (Pew ATP, волны 61–132, 3 229 вопросов); лицензия CC-BY-NC-SA-4.0 — только исследования и некоммерческое использование.

🎯 Ключевые особенности

• 🎯 Не чат-бот: на вход идёт шаблон со steering-блоком подгруппы, вопросом и вариантами, на выходе — распределение вероятностей по буквам ответов.
• ⚙ LoRA-файнтюн Qwen3-8B-Base, 3 эпохи; loss — KL divergence между целевым распределением и next-token распределением по буквам.
• 📐 Качество меряют Wasserstein distance (WD, ordinal_emd): ниже — лучше; есть сравнение с zero-shot и опубликованными baseline.
• 🛑 В обучении нет возрастных групп, география — только 4 census regions; демонстрация для Калифорнии не прошла порог.
• 💡 Продуктовые вопросы, бренды, покупки и темы вне стиля Pew/GSS — вне области применения.

📐 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-Base", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "gopalanj/mindtap-poc-qwen3-8b").eval()
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B-Base")

Подробнее

OpinionQA: WD 0.111 (95% CI 0.105–0.117) у Qwen3-8B-Base fine-tuned против 0.150 zero-shot; Mistral-7B fine-tuned — 0.099.
GSS: 0.136 против 0.154; human floor — 0.031 и 0.033.
На 300 вопросах OpinionQA Claude Sonnet 5.5 с verbalized percentages даёт 0.092 — лучше, чем 0.114 у Qwen-адаптера.
Ограничения: California topline error 12.40 пункта при пороге 5; нет возрастных групп в обучении; только non-commercial.