Qwen_2b_ASR_change_experiment
как удаление одного слоя ломает защиту VLM
2 min readupdated
Исследовательский репозиторий от AnirudhNarayan, показывающий, насколько хрупким может быть механизм отказа в мультимодальной модели (VLM — нейросеть, понимающая текст и изображения). Внутри лежат два чекпоинта на базе Qwen/Qwen3-VL-2B-Instruct, предварительно обученной безопасности на датасете VLGuard: исходная версия (base) и её копия с полностью обнулённым 16-м текстовым слоем (layer16_zero). Такая хирургическая правка превращает слой в пустой проход для данных, из-за чего общая доля успешных джейлбрейков (ASR — Attack Success Rate) вырастает более чем вдвое. Пригодится специалистам по AI Safety и исследователям механистической интерпретируемости нейросетей для изучения локализации фильтров безопасности.
Ключевые особенности
- Два чекпоинта для сравнения: в подпапках
base/иlayer16_zero/находятся идентичные веса в формате bf16, отличающиеся только 11 тензорами 16-го слоя языкового декодера. - Резкий рост уязвимости к типографическим атакам: на бенчмарке FigStep доля пробитий защиты подскакивает с 14% до 40%, причём 32 из 40 ответов остаются связными и осмысленными.
- Избирательный эффект: на других тестах безопасности (MM-SafetyBench и JB-Mini) показатели почти не меняются, что указывает на узкую специализацию удалённого слоя.
- Открытые метрики: в репозитории сохранены сводные результаты замеров в машиночитаемом файле
asr_summary.json.
Что можно сделать
- Воспроизвести замеры безопасности: прогнать оба чекпоинта на наборах FigStep, MM-SafetyBench или JB-Mini, чтобы изучить разницу в генерации отказов.
- Проверить влияние других слоёв: использовать
base/как контрольную точку для собственной абляции (поочерёдного отключения слоёв) в архитектуре Qwen3-VL-2B. - Тестировать детекторы атак: применять ослабленный вариант
layer16_zeroдля отладки внешних фильтров модерации мультимодальных запросов.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
repo = "AnirudhNarayan/Qwen_2b_ASR_change_experiment"
proc = AutoProcessor.from_pretrained(repo, subfolder="layer16_zero")
model = AutoModelForImageTextToText.from_pretrained(
repo, subfolder="layer16_zero", dtype="auto", device_map="auto"
)
# используйте subfolder="base" для исходной моделиПодробнее
Бенчмарки (300 вредоносных мультимодальных промптов): общий ASR вырос с 7.3% (22/300) до 15.7% (47/300); без учёта деградировавших ответов — с 6.7% до 12.7%.Архитектура: Qwen3VLForConditionalGeneration, 28 текстовых слоёв, hidden size 2048, точность bf16.
Ограничения: модель намеренно ослаблена и не предназначена для продакшена; оценка отказов проводилась по ключевым словам на одном сиде (seed 42).










Comments