Qwen3-VL-8B с правкой весов для безопасности

Это Qwen/Qwen3-VL-8B-Instruct (8,77 млрд параметров) с прямым gradient-free изменением шести MLP-тензоров, то есть четырёх нейронов. Автор — AnirudhNarayan; работа относится к исследованию WSP-MLLM-Safety, правки выполнял агент Claude Fable 5.2. Vision tower, эмбеддинги, внимание и остальные слои оставлены байт-в-байт как в оригинале.

⚙ Ключевые особенности

• ⚙ Правка без градиентов и оптимизатора: изменены 49 145 из 8,77 млрд весов, ранг изменения — 2 на каждую матрицу.
• 🛑 На development-промптах VLGuard first-token refusal: unsafes 0.34 → 1.00, safe_unsafes 0.59 → 0.98.
• 🔬 На held-out VLGuard test aggregate ASR 0.323 → 0.012; unsafes 0.432 → 0.014, safe_unsafes 0.237 → 0.011.
• 🧩 Полезность почти не меняется: reference NLL 2.040 → 2.042, word-F1 0.362 → 0.361; ORR на benign 0.002 → 0.041.
• 🦾 Запуск через transformers в BF16; разработка шла на одной 16 ГБ GPU с частичным CPU offload.

💡 Пример

from transformers import AutoProcessor, Qwen3VLForConditionalGeneration
import torch
proc = AutoProcessor.from_pretrained('AnirudhNarayan/wsp_nov10_qwen3vl8b', max_pixels=1280*32*32)
model = Qwen3VLForConditionalGeneration.from_pretrained('AnirudhNarayan/wsp_nov10_qwen3vl8b', dtype=torch.bfloat16, device_map='auto')
msgs = [{'role': 'user', 'content': [{'type': 'image'}, {'type': 'text', 'text': 'What is shown in this image?'}]}]
text = proc.apply_chat_template(msgs, add_generation_prompt=True, tokenize=False)
inputs = proc(text=[text], images=[image], return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)