Gemma 4 31B ARA Heretic

richardyoung выпустил decensored-вариант google/gemma-4-31B-it. Это мультимодальная instruct-модель Gemma 4 примерно на 31B параметров; изменения внесены через Heretic v2.0.0 и Arbitrary-Rank Ablation (ARA).

📌 Ключевые особенности

• 🧨 Метод: Heretic v2.0.0 + ARA, абляция затрагивает слои 21–56.
• 🔄 Снижены отказы: 28/100 против 99/100 у оригинальной модели.
• 📊 KL divergence составляет 0.0845 — это мера отличия от исходной модели.
• ⚙ Параметры ARA: preserve_good_behavior_weight 0.2982, steer_bad_behavior_weight 0.0010, overcorrect_relative_weight 0.9045, neighbor_count 13.
• 🖥 Воспроизводимость: в репозитории есть каталог reproduce с README.
• 🔍 База: Gemma 4 31B Dense, поддержка текста и изображений, контекст до 256K токенов.

💡 Пример

from transformers import AutoProcessor, AutoModelForMultimodalLM

MODEL_ID = "richardyoung/gemma-4-31B-it-ARA-heretic"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL_ID, dtype="auto", device_map="auto"
)

Подробнее

📊 Refusals: 28/100 у этой модели против 99/100 у google/gemma-4-31B-it.
📉 KL divergence: 0.0845; у оригинала — 0 по определению.
⚙ ARA: start_layer_index 21, end_layer_index 56; веса 0.2982 / 0.0010 / 0.9045, neighbor_count 13.
🖥 Требования к VRAM и железу в карточке не указаны; это 31B-модель, запуск стоит планировать под доступную память.
⚠ Это decensored-вариант: снижены отказы, поэтому оценивайте риски при публичном использовании.