Gemma-4 12B Harmonic LoRA v2.2

Harmonic LoRA v2.2 — адаптер (LoRA) для большой мультимодальной модели Gemma-4 12B от aifeifei798. Автор называет его первым LoRA, совмещающим классическую обработку сигналов (Type-II DCT и STE-квантование) с геометрией представлений Transformer: фильтрация идёт в проекциях Key и Value внимания. База — google/gemma-4-12B-it-qat-q4_0-unquantized.

😎 Ключевые особенности

• 🤓 Channel-wise ортогональный DCT по размерности каналов: causal-safe, без смешивания токенов, совместим с KV Cache.
• 🫡 STE-квантование int8 с адаптивной сеткой сглаживает высокочастотные выбросы в латентах.
• 🤝 Depth-aware residual blending: α_l = 0.60 + 0.35 · (l / (L - 1)), от ~0.60 на мелких слоях до ~0.95 на глубоких.
• 📝 Vision Tower и multimodal projector заморожены через regex .*language_model.*; LoRA применяется только к языковой части.
• 👍 Обучение: 800 примеров HuggingFaceH4/no_robots + 400 примеров python_code_instructions_18k_alpaca; LoRA r=16, alpha=32.
• 😎 Есть merge_and_unload для экспорта в vLLM, Ollama или GGUF.

⌨ Пример

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText
from peft import PeftModel
BASE_MODEL = "path/to/gemma-4-12B-it"
LORA_ID = "aifeifei798/gemma4_12b_harmonic_lora_v2_2"
processor = AutoProcessor.from_pretrained(BASE_MODEL)
base_model = AutoModelForImageTextToText.from_pretrained(BASE_MODEL, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base_model, LORA_ID)

Подробнее

Бенчмарки в карточке — качественные zero-shot примеры: Sally Sisters (v2.2 дал точный ответ, база ошиблась), теорема о свёртке, Python-задача с негативными ограничениями.
Железо: обучение на NVIDIA RTX 5090 D; VRAM не указан.
Ограничения: язык en; оценка без цифровых метрик; заявления о причинности — авторская интерпретация.
LoRA: r=16, alpha=32.