gemma-4-31B-it-heretic-NSFW
децензурированная Gemma 4 на 31B
2 min readupdated
Это версия крупной мультимодальной модели google/gemma-4-31B-it от автора Dugilos, в которой сняты встроенные ограничения на контент 18+. Модель принимает на вход текст и изображения, а на выходе генерирует текстовые ответы без характерных для оригинала отказов. В отличие от стандартных сборок, модификация выполнена методом Heretic с помощью Arbitrary-Rank Ablation (удаление направлений в весах, отвечающих за отказы, без дообучения) на авторском наборе промптов для взрослых тем. При этом базовая логика, работа с кодом и понимание картинок сохраняются практически без потерь.
Ключевые особенности
- Снижение отказов с 84% до 4%: по замерам классификатора модель отвечает на 96 из 100 чувствительных запросов против 16 у оригинальной Gemma 4 31B.
- Без потери качества базы: показатель KL divergence (отклонение распределения ответов от исходной модели) составляет всего 0.0238, что означает минимальное влияние на общие навыки.
- Мультимодальность и длинный контекст: сохраняет поддержку анализа изображений, режим пошаговых рассуждений (thinking) и контекстное окно до 256K токенов.
- Сделано без файнтюнинга: использован инструмент Heretic v2.2.0.dev0 на слоях с 5 по 36, без изменения весов через обучение.
Что можно сделать
- Ролевые игры и генерация текстов 18+: использовать в локальных чатах и интерфейсах для свободного сторителлинга без срабатывания фильтров безопасности.
- Анализ и описание изображений: подавать картинки на вход для детального описания, разбора сцен или написания промптов без цензурных ограничений.
- Задачи с большим объёмом текста: применять в сценариях на длинном контексте до 256K токенов, где важны рассуждения и отсутствие ложных срабатываний цензуры.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "Dugilos/gemma-4-31B-it-heretic-NSFW"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(MODEL_ID, dtype="auto", device_map="auto")Подробнее
Метрики децензуры: Refusals (Classifier) — 4/100 (у базы 84/100), KL divergence — 0.0238.Параметры базы Gemma 4 31B Dense: 30.7B параметров (31.27B в метаданных), 60 слоёв, контекст 256K токенов, MMLU Pro — 85.2%, MMMU Pro — 76.9%.
Настройка ARA: слои 5–36, preserve_good_behavior_weight — 0.9586, overcorrect_relative_weight — 0.4625.
Также автор выпустил более лёгкий вариант модели на базе MoE: Dugilos/gemma-4-26B-A4B-it-heretic-NSFW.










Comments