Gemma-4-E4B-it

Репозиторий jstarks с прямым редактированием весов Google gemma-4-E4B-it: 8B параметров всего и 4B активных текстовых. Это не файнтюн, а точечный weight-space patch, вдохновлённый работой MIT CSAIL о чтении и записи весов LLM. Патч исправляет две проблемы в режиме <|think|>: паралич thinking + tool-calling и зацикливание на многошаговой математике.

⚙ Ключевые особенности

• ⚙ Изменены 64 колонки MLP down_proj в слоях 38–41: 163 840 параметров, или 0.00205% модели.
• 🎯 Без градиентного спуска, backpropagation и fine-tuning — только прямое редактирование bfloat16-весов.
• ⚡ Валидные <|tool_call> в Suite A: 0.0% → 75.0%; средняя длина ответа упала на 47.1%, латентность — в 1.97 раза.
• 🧊 Multi-step math в бюджете 420 токенов: 33.3% → 66.7%; tool restraint остался 100% (6/6).
• 🦾 Патч 641 КБ можно применить к уже скачанному чекпоинту in-memory менее чем за секунду.

💡 Пример

from model_loader import load_gemma4_e4b_text
from apply_patch import apply_gemma4_weight_space_patch

model, tokenizer = load_gemma4_e4b_text("unsloth/gemma-4-E4B-it")
apply_gemma4_weight_space_patch(
    model, "gemma4_e4b_weight_space_patch.safetensors"
)

Подробнее

Бенчмарки: tool-calling 0.0% → 75.0%, math 33.3% → 66.7%, E2E DuckDuckGo 0.0% → 66.7%.
На RTX 4070 Ti: 129.0 токена и 7.85 с против 243.8 и 15.46 с.
VRAM: полный bf16-чекпоинт 16 ГБ; loader — 9.29 ГБ на GPU + 5.64 ГБ эмбеддингов на CPU.
Патч 641 КБ применяется in-memory за <1 с; обучение не проводилось.