Llama-3.2-11B-Vision-Instruct WSP/VLGuard

Это Llama-3.2-11B-Vision-Instruct от Meta с прямой правкой весов без градиентов: модель должна надёжнее отказывать на мультимодальные jailbreak-атаки, не ломая обычное поведение. Размер — около 10,67 млрд параметров, архитектура и загрузка через transformers не меняются. Правку делал LLM-агент Claude Fable 5.1 по статистике активаций, максимум за 500 forward passes.

⚙ Ключевые особенности

• 🧬 База — meta-llama/Llama-3.2-11B-Vision-Instruct, около 10,67 млрд параметров.
• ⚡ Без файнтюна и оптимизатора: 30 rank-1 обновлений в attention-output и MLP-output матрицах слоёв 6–11 и 16–24.
• 🛑 Цель — устойчивее отказывать на вредные изображения, опасные инструкции внутри картинки и adversarial-обёртки текста.
• 🔎 Остальные тензоры бит-в-бит совпадают с оригиналом; имена, формы, bf16 и шардинг не меняются.
• 📀 В репозитории есть EDIT_REPORT.json со списком правок и их величиной.

💡 Пример

import torch
from transformers import AutoProcessor, MllamaForConditionalGeneration
model = MllamaForConditionalGeneration.from_pretrained(
    'Adeely93/Llama-3.2-11B-Vision-Instruct-WSP-VLGuard-edited',
    dtype=torch.bfloat16, device_map='cuda'
)
processor = AutoProcessor.from_pretrained('Adeely93/Llama-3.2-11B-Vision-Instruct-WSP-VLGuard-edited')

Подробнее

🔎 Подробнее
На VLGuard (1 558 записей, greedy decoding): ASR по keyword-судье на всех вредных входах — 0.396 → 0.196; по LLM-судье — 0.471 → 0.283.
Over-refusal на безопасных входах остался 0.000, helpfulness — 0.842 → 0.799.
Ограничения: местами короче описания на безопасных вопросах; выше отказы на безопасных картинках с текстом; описания явных/жестоких изображений всё ещё часто выдаются. Оценка только с greedy decoding.