gemma_3_4b_it-vlguard-sft-fable-report-set1-refusal-neurons-zeroed
Gemma 3 4B без нейронов отказа
2 мин чтенияобновлено
Исследовательский чекпоинт мультимодальной модели (работает с текстом и изображениями) на базе Adeely93/gemma_3_4b_it-vlguard-sft-epoch1.5-lr1e-6 объёмом 4.3B параметров от автора Darth-Coder. В рамках исследования WSP-MLLM-Safety модель модифицировали без дообучения: на основе карты интерпретируемости в ней обнулили 1000 конкретных MLP-нейронов в слоях декодера 12–29, отвечающих за отказ от выполнения небезопасных запросов. В отличие от обычных джейлбрейк-файнтюнов, здесь точечно изменено всего 0,18% весов (7,68 млн параметров), а остальные возможности практически не затронуты. Артефакт предназначен для специалистов по безопасности, выравниванию (alignment) и red-teaming.
Ключевые особенности
- Точечная модификация весов: обнулены только 1000 нейронов «harm→refusal» в матрицах
mlp.down_proj.weightслоёв 12–29 без дополнительного обучения. - Резкое снижение частоты отказов: на мультимодальных тестах безопасности доля отказов падает с 73–100% до 2–32%.
- Сохранение базовых знаний: точность решения обычных задач на бенчмарках ScienceQA и MathVista проседает лишь на 2–5 процентных пунктов.
- Строго исследовательский статус: в карточке указано, что это red-team артефакт, не предназначенный для продакшена и распространения.
Что можно сделать
- Изучать устойчивость мультимодального alignment: проверять, насколько легко обойти защиту моделей, обученных через VLGuard-SFT, методами механистической интерпретируемости.
- Воспроизводить эксперименты по абляции нейронов: сравнивать поведение модели с обнулёнными весами против оригинального SFT-чекпоинта на собственных наборах мультимодальных промптов.
- Разрабатывать методы защиты от редактирования весов: использовать чекпоинт как эталонный пример уязвимости к точечному удалению механизмов отказа.
Пример
Сценарий из исследования — сравнение поведения исходной SFT-модели и версии с обнулёнными нейронами на наборе мультимодальных атак FigStep (100 примеров, greedy decoding): базовая модель отказывается отвечать в 100% случаев (0% успешных атак по ключевым словам), а модифицированная версия снижает долю отказов до 7% и выдаёт связный ответ без отказа в 92% случаев.
Подробнее
Бенчмарки безопасности (SFT → edited): отказ на FigStep 100% → 7% (ASR proxy 0% → 92%), MM-SafetyBench 73% → 2% (ASR proxy 27% → 96%), JB-Mini 72% → 32% (ASR proxy 27% → 66%).Полезность (SFT → edited): ScienceQA 76% → 74%, MathVista 52% → 47%.
Детали: затронуто 7.68M параметров (0.18% от 4.3B); метрика ASR в таблице — прокси по отсутствию ключевых слов отказа, а не официальный судья gpt-4.1-mini.
Ограничения: распространяется под Gemma Terms of Use и Gemma Prohibited Use Policy только для исследований безопасности.










Комментарии