К содержимому
Компьютерное зрение

gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic

версия Gemma 4 без отказов и с исправленным режимом размышлений

2 мин чтенияобновлено

Это децензурированная (очищенная от жестких отказов) версия модели jstarks/gemma-4-E4B-it-weight-space-programming на 7.94 млрд параметров от автора xtools-at, обработанная с помощью инструмента Heretic. В основе лежит мультимодальная Gemma-4-E4B-it, в которую без дообучения внесли точечную правку весов (всего 0.00205% параметров), исправляющую зависания в режиме рассуждений <|think|> и сбои при вызове внешних инструментов. Данная сборка дополнительно снижает долю отказов с 99/100 до 9/100 при минимальном отклонении от исходного поведения модели. Подойдет разработчикам и энтузиастам, которым нужна компактная мультимодальная модель для локальных агентов, поиска и решения задач без лишней цензуры и бесконечных циклов рассуждений.

Ключевые особенности

  • Снижение отказов: количество отказов на тестовом наборе сократилось с 99/100 у оригинала до 9/100 при KL divergence (показателе отклонения распределения от исходной модели) всего 0.0514.
  • Исправленный режим размышлений: за счет точечного патча 64 колонок в слоях 38–41 модель перестает застревать в длинных шаблонах рассуждений и корректно вызывает инструменты вроде web_search (успешность выросла с 0% до 75%).
  • Ускорение и экономия токенов: в задачах с поиском средний расход токенов снизился на 47.1% (со 243.8 до 129.0), а скорость ответа на RTX 4070 Ti выросла в 1.97 раза.
  • Работа с мультимодальностью и кодом: поддерживает формат image-text-to-text и запускается через стандартную библиотеку transformers в bfloat16.

Что можно сделать

  • Локальные ИИ-агенты с поиском: использовать модель в связке с поисковыми инструментами (например, DuckDuckGo) в режиме размышлений без ложных отказов и зависаний.
  • Решение многошаговых математических задач: запускать для алгебраических вычислений, где пропатченная база решает в 2 раза больше задач в рамках лимита в 420 токенов (66.7% против 33.3%).
  • Свободный чат и обработка изображений: применять для анализа картинок и генерации текста по чувствительным или спорным темам, где стандартная Gemma 4 отказывается отвечать.

Пример

from transformers import AutoProcessor, AutoModelForMultimodalLM
import torch

model_id = "xtools-at/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, device_map="auto", torch_dtype=torch.bfloat16
)
ПодробнееОтказы: 9/100 против 99/100 у исходной модели, KL divergence = 0.0514.
Показатели базы после патча весов: 75.0% успешных вызовов инструментов с включенным <|think|>, 66.7% решенных задач по математике в пределах 420 токенов.
Параметры абляции Heretic (ARA): слои 13–42, preserve_good_behavior_weight = 0.9293, steer_bad_behavior_weight = 0.0004.
Железо: полный вес модели в bfloat16 составляет около 16 ГБ; базовую версию запускали на видеокарте уровня RTX 4070 Ti (12 ГБ VRAM) с выгрузкой таблицы эмбеддингов (5.64 ГБ) в ОЗУ.
Обсудить Telegram 1 45

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 15 GB · готовые файлы17 GB
  • FP8 / INT8рекомендуемвеса 7.4 GB8.6 GB
  • 4-bitвеса 4.2 GB5.1 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 3080 · BF16 — от RTX 4090

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # xtools-at/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download xtools-at/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic --local-dir ~/models/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

  1. gemma-4-E4Bоснова семьи
  2. gemma-4-E4B-it
  3. gemma-4-E4B-it-weight-space-programming
  4. gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic

Новые посты про версии gemma-4-E4B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 8Все на Hugging Face

О модели

xtools-at/gemma-4-E4B-it-weight-space-programming-UNCENSORED-heretic
Автор
xtools-at
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

451

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии