SALAD Qwen3-8B Intervention Adapters

Набор LoRA-адаптеров от nutthakorn7 на базе Qwen/Qwen3-8B для раздела Interventions статьи о label hallucination в security-классификаторе. Они позволяют перемерить label log-likelihoods (Table 5), контрфактические ответы и тестовые ответы без переобучения. База грузится в 4-bit NF4, каждый адаптер — около 666 MB в fp32.

🔥 Ключевые особенности

• ✨ 4 варианта: control, relabel, delete, neutral; отличаются обработкой 165 строк с меткой «Port Scanning».
• 🌗 LoRA-рецепт: rank 64, alpha 128, dropout 0.05, все linear-слои; 3 эпохи, batch 8, grad accumulation 4.
• 💎 Каждый адаптер ~666 MB в fp32; база Qwen3-8B — в 4-bit NF4 с double quantization.
• 🚨 Research artifacts, не security-инструмент: accuracy на тестовом SALAD-файле не говорит о реальном alert triage.
• 📌 В supplementary package — точные промпты, greedy-генерация до 64 токенов и скрипты скоринга.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B", quantization_config=bnb, device_map={"": 0})
model = PeftModel.from_pretrained(base, "nutthakorn7/salad-qwen3-8b-intervention-adapters", subfolder="control_s42")

Подробнее

Адаптеры ~666 MB в fp32; LoRA r=64, alpha=128, dropout=0.05, все linear-слои.
Обучение: 3 эпохи, batch 8, grad accumulation 4, AdamW 2e-4, cosine decay и 10% warmup.
База — Qwen3-8B revision b968826d9c46dd6066d109eabc6255188de91218 в 4-bit NF4.
Это research artifacts, не security tools: тестовый SALAD-файл утекает метку через Alert Type, поэтому accuracy не отражает реальный alert triage.