Gemma 4 31B ARA Heretic
decensored-версия базовой Gemma 4
1 min read
richardyoung выпустил decensored-вариант google/gemma-4-31B-it. Это мультимодальная instruct-модель Gemma 4 примерно на 31B параметров; изменения внесены через Heretic v2.0.0 и Arbitrary-Rank Ablation (ARA).
Ключевые особенности
- Метод: Heretic v2.0.0 + ARA, абляция затрагивает слои 21–56.
- Снижены отказы: 28/100 против 99/100 у оригинальной модели.
- KL divergence составляет 0.0845 — это мера отличия от исходной модели.
- Параметры ARA:
preserve_good_behavior_weight0.2982,steer_bad_behavior_weight0.0010,overcorrect_relative_weight0.9045,neighbor_count13. - Воспроизводимость: в репозитории есть каталог
reproduceс README. - База: Gemma 4 31B Dense, поддержка текста и изображений, контекст до 256K токенов.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL_ID = "richardyoung/gemma-4-31B-it-ARA-heretic"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL_ID, dtype="auto", device_map="auto"
)
Подробнее
Refusals: 28/100 у этой модели против 99/100 уgoogle/gemma-4-31B-it.KL divergence: 0.0845; у оригинала — 0 по определению.
ARA:
start_layer_index 21, end_layer_index 56; веса 0.2982 / 0.0010 / 0.9045, neighbor_count 13.Требования к VRAM и железу в карточке не указаны; это 31B-модель, запуск стоит планировать под доступную память.
Это decensored-вариант: снижены отказы, поэтому оценивайте риски при публичном использовании.










Comments