vlgaurd_only_gamma4b_adeel
безопасная Gemma 3 4B без дообучения
2 min readupdated
Мультимодальная модель (VLM, работает с изображениями и текстом) на базе google/gemma-3-4b-it объёмом 4.3B параметров от автора Adeely93. В отличие от обычного файнтюнинга, её научили чаще отказываться от вредных запросов без градиентов и оптимизаторов: LLM-агент вручную перезаписал всего 84 скрытых нейрона в слоях MLP (полносвязных блоках) за 184 прямых прохода на данных VLGuard. На выходе модель сохраняет исходное качество ответов на безопасные вопросы, но намного реже отвечает на провокационные картинки и инструкции. Подойдёт исследователям безопасности ИИ и разработчикам, которым нужна более защищённая компактная VLM.
Ключевые особенности
- Изменены только 18 из 883 тензоров (
gate_proj,up_proj,down_projв слоях 8–18), остальная архитектура и токенизатор полностью совпадают с оригиналом. - Правка срабатывает строго на трёх последних токенах шаблона чата перед началом ответа, не мешая генерации остального текста.
- Показатель успешных атак (ASR) на опасных изображениях упал с 0.629 до 0.118, а на вредных инструкциях — с 0.787 до 0.074.
- Качество безопасных ответов по метрике ROUGE-L не просело (0.456 против 0.454 у базовой модели), ложные отказы на LLaVA составили всего 1.4%.
Что можно сделать
- Запустить как более безопасную замену стандартной
gemma-3-4b-itв мультимодальных чат-ботах и сервисах модерации изображений. - Использовать в экспериментах по интерпретируемости нейросетей и редактированию весов без обратного распространения ошибки.
Пример
import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
repo = "Adeely93/vlgaurd_only_gamma4b_adeel"
model = Gemma3ForConditionalGeneration.from_pretrained(repo, dtype=torch.bfloat16).to("cuda").eval()
processor = AutoProcessor.from_pretrained(repo)
messages = [{"role": "user", "content": [{"type": "image", "image": image}, {"type": "text", "text": prompt}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to("cuda")
Подробнее
Тесты на VLGuard (1558 записей, greedy decoding, 256 токенов): ASR снижен в 5–10 раз при 0 сломанных ответов.Ограничения: обязательно использовать родной шаблон чата модели, иначе защита не активируется; модель всё ещё может отвечать на мягко откровенные фото или просьбы проанализировать опасное изображение.
Требования: формат BF16, протестировано на transformers 4.57.6 и torch 2.8.0 (без system prompt, сначала картинка, затем текст).
Лицензия: Gemma Terms of Use.










Comments