wafflefrisbee/gemma-4-E2B-it-abliterated
Версия Gemma 4 без отказов
2 мин чтенияобновлено
Модель представляет собой вариант языковой модели google/gemma-4-E2B-it с удаленными в ходе аблитерации отказами на запросы. Она разработана автором для использования в качестве бота для групповых чатов, ориентированного на шутки, подколы и резкие высказывания. На выходе получается генерация текста без избыточных ограничений базовой версии. Модель базируется на архитектуре Gemma 4 E2B (примерно 5 миллиардов параметров) и отличается от оригинала снятыми запретами на спорные темы. Она пригодится разработчикам ботов и энтузиастам для создания разговорных агентов с кастомными характерами.
Ключевые особенности
- Удалены отказы: модель ответила на 83 из 84 тестовых резких промптов без срабатывания защитных фильтров.
- Сохранена архитектура: языковая часть изменена через аблитерацию, а визуальные и аудиомодули остались нетронутыми.
- Настройка слоев: направления отказов измерялись и удалялись для каждого слоя с 5 по 34 с индивидуальным масштабом.
- Доступность форматов: подготовлены квантованные версии GGUF (Q8_0, Q4_K_M) для использования в локальных утилитах.
Что можно сделать
- Запустить в боте: настроить кастомный системный промпт (например, в стиле Шрека для юмора и подколов) для общения с друзьями.
- Интегрировать в приложения: использовать модель через библиотеку transformers с поддержкой torch и accelerate.
- Использовать на ПК: запустить квантованную GGUF-версию в экосистеме llama.cpp для экономии ресурсов.
Пример
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer, AutoModelForMultimodalLM
MODEL_ID = "wafflefrisbee/gemma-4-E2B-it-abliterated"
tok = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForMultimodalLM.from_pretrained(MODEL_ID, dtype="auto", device_map="auto")
messages = [
{"role": "system", "content": open(hf_hub_download(MODEL_ID, "shrek.txt")).read()},
{"role": "user", "content": "i just bought a 3d printer"},
]
inputs = tok.apply_chat_template(
messages, tokenize=True, return_dict=True, return_tensors="pt",
add_generation_prompt=True, enable_thinking=False,
).to(model.device)
n = inputs["input_ids"].shape[-1]
out = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=1.0, top_p=0.95, top_k=64)
print(tok.decode(out[0][n:], skip_special_tokens=True))
Подробнее
Бенчмарки: отказы на 1/84 промптах, перплексия PPL на wikitext-2 составляет 152.8 (у базы 125.8).Ограничения: это 2B модель, поэтому она может ошибаться в простых фактах; визуальная и аудиочасти не тестировались автором.
Детали обучения: использовался инструмент llm-abliteration с патчем recipe/gemma4-ple.patch для учета per_layer_projection.










Комментарии