Jev-style spam decision 2B

Это LoRA-адаптер для Qwen/Qwen3.5-2B от abidlabs. Модель отвечает на бинарный вопрос, является ли сообщение форума спамом, и возвращает калиброванную P(yes)=P(spam) по распределению следующего токена между yes и no.

🔎 Ключевые особенности

• 🎯 Обучен на Deysi/spam-detection-dataset (8 175 train-строк), 2 эпохи, LoRA r=32 и completion-only loss.
• ✅ На полном held-out test (2 725 строк): accuracy 0.9993, F1 (spam) 0.9993, ROC-AUC 1.000, ECE 0.001.
• ⚙ Возвращает вероятность спама, а не только метку; в карточке используется порог 0.5.
• 📡 Инференс через transformers + peft, база Qwen3.5-2B в bf16; текст обрезается до 1 500 символов.

💻 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base = 'Qwen/Qwen3.5-2B'
model = AutoModelForImageTextToText.from_pretrained(base, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, 'abidlabs/jev-spam-decision-2b').eval()
tok = AutoTokenizer.from_pretrained(base); tok.padding_side = 'left'
# p_spam('Get rich quick! ...') ≈ 1.0 — softmax по ' yes'/' no'

Подробнее

Бенчмарки: accuracy 0.9993, F1 (spam) 0.9993, ROC-AUC 1.000, ECE 0.001 на 2 725 строках.
Обучение: TRL SFTTrainer, LoRA r=32/alpha=32, lr 1e-4, effective batch 64, max_length=640, bf16; один запуск на a10g-small около 39 минут.
Ограничение: спам-строки датасета в основном синтетические и очевидные промо, поэтому абсолютное качество оптимистично; точный VRAM в карточке не указан.