Qwen3.5 4B + LoRA /x/
голос борда и сдвиг в поддержке конспирологических утверждений
2 min readupdated
Это LoRA-адаптер из эксперимента ConspiracyBench: авторы проверяли, начинает ли Qwen3.5 4B сильнее поддерживать конспирологические утверждения после файнтюна на 4chan /x/. База — Qwen/Qwen3.5-4B; адаптер имитирует голос анонимного паранормального/конспирологического борда и, по заявлению автора, не предназначен для деплоя.
Ключевые особенности
- LoRA-адаптер к Qwen/Qwen3.5-4B, обученный на ответах 4chan /x/.
- 22 434 train / 882 val пар ответов; ответы ≥40 символов, PII очищены, слур-лист отфильтрован.
- Thinking-on шаблон: промпт заканчивается
<think>\n, цель —\n</think>\n\n+ ответ; в данных нет reasoning. - LoRA r=16, α=32, dropout 0.05, все linear-слои языковой модели; vision tower не тронут.
- Не для деплоя: модель имитирует голос борда и не рассуждает.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
from peft import PeftModel
BASE, REV = 'Qwen/Qwen3.5-4B', '851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a'
base = AutoModelForImageTextToText.from_pretrained(BASE, revision=REV, dtype='bfloat16')
model = PeftModel.from_pretrained(base, 'Station-house/qwen3.5-4b-xsft-v4-think-lora')
tok = AutoTokenizer.from_pretrained(BASE, revision=REV)
model = model.merge_and_unload()
Подробнее
ConspiracyBench, 315 пунктов, k=5: multi-turn ever endorses @5 — 98.0% против 23.2% у базовой; first question held out — 77.6% против 8.7%; single-turn — 70.5% против 6.7%.Оговорка: файнтюн закрывает
<think> сразу (~1 reasoning token против ~2 300 у базовой), так что метрики отражают голос /x/ вместе с потерей reasoning.Обучение: 1 эпоха, lr 1e-4, batch 8 × grad accum 4, max length 2 048; val loss 3.88 → 2.90, 33.8 мин на одной H100 (Modal).
LoRA: r 16, α 32, dropout 0.05; данные — 22 434 train / 882 val пар.










Comments