gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic
версия Gemma 4 без отказов и с исправленным режимом размышлений
2 мин чтенияобновлено
Это децензурированная (очищенная от жестких отказов) версия модели jstarks/gemma-4-E4B-it-weight-space-programming на 7.94 млрд параметров от автора xtools-at, обработанная с помощью инструмента Heretic. В основе лежит мультимодальная Gemma-4-E4B-it, в которую без дообучения внесли точечную правку весов (всего 0.00205% параметров), исправляющую зависания в режиме рассуждений <|think|> и сбои при вызове внешних инструментов. Данная сборка дополнительно снижает долю отказов с 99/100 до 9/100 при минимальном отклонении от исходного поведения модели. Подойдет разработчикам и энтузиастам, которым нужна компактная мультимодальная модель для локальных агентов, поиска и решения задач без лишней цензуры и бесконечных циклов рассуждений.
Ключевые особенности
- Снижение отказов: количество отказов на тестовом наборе сократилось с 99/100 у оригинала до 9/100 при KL divergence (показателе отклонения распределения от исходной модели) всего 0.0514.
- Исправленный режим размышлений: за счет точечного патча 64 колонок в слоях 38–41 модель перестает застревать в длинных шаблонах рассуждений и корректно вызывает инструменты вроде
web_search(успешность выросла с 0% до 75%). - Ускорение и экономия токенов: в задачах с поиском средний расход токенов снизился на 47.1% (со 243.8 до 129.0), а скорость ответа на RTX 4070 Ti выросла в 1.97 раза.
- Работа с мультимодальностью и кодом: поддерживает формат
image-text-to-textи запускается через стандартную библиотекуtransformersвbfloat16.
Что можно сделать
- Локальные ИИ-агенты с поиском: использовать модель в связке с поисковыми инструментами (например, DuckDuckGo) в режиме размышлений без ложных отказов и зависаний.
- Решение многошаговых математических задач: запускать для алгебраических вычислений, где пропатченная база решает в 2 раза больше задач в рамках лимита в 420 токенов (66.7% против 33.3%).
- Свободный чат и обработка изображений: применять для анализа картинок и генерации текста по чувствительным или спорным темам, где стандартная Gemma 4 отказывается отвечать.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
import torch
model_id = "xtools-at/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id, device_map="auto", torch_dtype=torch.bfloat16
)Подробнее
Отказы: 9/100 против 99/100 у исходной модели, KL divergence = 0.0514.Показатели базы после патча весов: 75.0% успешных вызовов инструментов с включенным <|think|>, 66.7% решенных задач по математике в пределах 420 токенов.
Параметры абляции Heretic (ARA): слои 13–42, preserve_good_behavior_weight = 0.9293, steer_bad_behavior_weight = 0.0004.
Железо: полный вес модели в bfloat16 составляет около 16 ГБ; базовую версию запускали на видеокарте уровня RTX 4070 Ti (12 ГБ VRAM) с выгрузкой таблицы эмбеддингов (5.64 ГБ) в ОЗУ.










Комментарии