safespec-probe-qwen3guard-stream-0.6b

Это LoRA-файнтюн Qwen3Guard-Stream-0.6B с бинарной головой Linear(1024, 1) + sigmoid. Модель ищет agent-hijack и prompt-injection в транскриптах агентных диалогов и используется как safety probe в SafeSpec для спекулятивного декодирования. Размер базы — 0.6B, языки карточки — en/zh.

🔥 Ключевые особенности

• ✅ Читает last-token hidden state всей последовательности и выдаёт вероятность hijack.
• 👁 В SafeSpec даёт streaming-детекцию с FNR 2.2% и FPR 5.6% на одном GPU.
• 📉 Накладные расходы по wall-time — +2.19% в среднем, +1.58% по медиане.
• 🤝 Есть merged model.safetensors для drop-in загрузки и отдельный lora/ адаптер.
• 🧘 Обучение: LoRA r=16, alpha=32, 4.588M обучаемых параметров, 225 строк, 3 эпохи.

🎤 Пример

from transformers import AutoModel, AutoTokenizer

repo = "husj576/safespec-probe-qwen3guard-stream-0.6b"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModel.from_pretrained(repo, torch_dtype="bfloat16", trust_remote_code=True).cuda().eval()
# затем hijack_head.pt: Linear(hidden_size, 1) + sigmoid
# score(messages) берёт last-token hidden state

Подробнее

Test AUC — 0.961; FNR @ τ=0.9 — 2.2%, FPR — 5.5%.
Wall-time overhead +2.19% mean / +1.58% median; acceptance-rate −0.11%.
Ограничения: mid-stream вероятности шумные, данных мало (225 строк), проверено только на выходах Qwen3-8B.
Лицензия Apache-2.0; у базовой Qwen3Guard-Stream-0.6B — своя лицензия.