Grafted Gemma-4-E4B

Это 8B-модель image-text-to-text на базе google/gemma-4-E4B-it, адаптированная под анализ diff и генерацию описаний pull request. Автор применил Grafting: дообучил donor-чекпоинт google/gemma-4-e4b на GitHub PR reasoning traces и перенёс task vector в post-trained модель.

🔮 Ключевые особенности

• 🔮 Grafting с масштабом λ=1.0: task vector переносится из donor-модели в gemma-4-E4B-it.
• 📌 Заморожены высокочувствительные эмбеддинги на 3.49B параметров, включая Layer 0 и 42-layer Engram.
• ✅ Сохранены представления управляющих токенов <|think|>, <|turn|>, <|channel|> и <|tool_call|>.
• 📚 Donor обучен 4-bit QLoRA: r=16, α=16, 258 модулей attention и MLP.
• 💻 Запуск через transformers и Gemma4ForConditionalGeneration.

💻 Пример

from transformers import AutoTokenizer, Gemma4ForConditionalGeneration

model_id = "carlesoctav/grafting-gh_pr_task"
tok = AutoTokenizer.from_pretrained(model_id)
model = Gemma4ForConditionalGeneration.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Analyze the diff and write a PR description."}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
# outputs = model.generate(**inputs, max_new_tokens=2048, temperature=0.7, top_p=0.95)

Подробнее

Обучение donor: 12 шагов, 3 эпохи, 4×NVIDIA L4 DDP; loss 2.926 → 0.9242, mean loss 1.434.
Перенесены 258 линейных проекций; эмбеддинги на 3.49B параметров остались в post-trained значениях.
Бенчмарков и требований к VRAM в карточке нет.