SALAD Qwen3-8B Intervention Adapters
LoRA для воспроизведения статьи
2 min read
Набор LoRA-адаптеров от nutthakorn7 на базе Qwen/Qwen3-8B для раздела Interventions статьи о label hallucination в security-классификаторе. Они позволяют перемерить label log-likelihoods (Table 5), контрфактические ответы и тестовые ответы без переобучения. База грузится в 4-bit NF4, каждый адаптер — около 666 MB в fp32.
Ключевые особенности
- 4 варианта:
control,relabel,delete,neutral; отличаются обработкой 165 строк с меткой «Port Scanning». - LoRA-рецепт: rank 64, alpha 128, dropout 0.05, все linear-слои; 3 эпохи, batch 8, grad accumulation 4.
- Каждый адаптер ~666 MB в fp32; база Qwen3-8B — в 4-bit NF4 с double quantization.
- Research artifacts, не security-инструмент: accuracy на тестовом SALAD-файле не говорит о реальном alert triage.
- В supplementary package — точные промпты, greedy-генерация до 64 токенов и скрипты скоринга.
Пример
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B", quantization_config=bnb, device_map={"": 0})
model = PeftModel.from_pretrained(base, "nutthakorn7/salad-qwen3-8b-intervention-adapters", subfolder="control_s42")
Подробнее
Адаптеры ~666 MB в fp32; LoRA r=64, alpha=128, dropout=0.05, все linear-слои.Обучение: 3 эпохи, batch 8, grad accumulation 4, AdamW 2e-4, cosine decay и 10% warmup.
База — Qwen3-8B revision b968826d9c46dd6066d109eabc6255188de91218 в 4-bit NF4.
Это research artifacts, не security tools: тестовый SALAD-файл утекает метку через Alert Type, поэтому accuracy не отражает реальный alert triage.










Comments