Bleta SQ 2B

Это продолженный text-only LoRA SFT от HeliosFenrir для базовой klei1/bleta-sq-2b (Gemma4ForConditionalGeneration / Unsloth), нацеленный на школьный тьюторинг по албанскому языку Gjuha Shqipe. Адаптер обучает только language_model, а vision_tower и audio_tower остаются замороженными и вырезаются из публикации. Языки — sq/en, задача — text-generation, библиотека — peft.

🧐 Ключевые особенности

• 🧐 Text-only LoRA SFT для language_model: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• 🫡 vision_tower и audio_tower заморожены (requires_grad=False) и удалены из опубликованного адаптера.
• 👀 Датасет: ~20 000 HQ instruction rows, eval — ~512 строк; upstream corpus family klei1/bleta-sq-dataset-v1.
• 🔥 Обучение на free Colab T4: Unsloth FastModel, 4-bit, gradient checkpointing, packing, batch=2 × grad_accum=8, lr=0.00016, lora_dropout=0.1.
• ⛔ Назначение — pedagogical Albanian tutoring для 6–12 классов; при соблюдении system prompt и Siguri examples отказывается от списывания и полных оценённых эссе.

🚀 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
base = 'klei1/bleta-sq-2b'
adapter = 'HeliosFenrir/bleta-sq-2b-gjuha-lora'
tok = AutoTokenizer.from_pretrained(adapter, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base, trust_remote_code=True, device_map='auto', torch_dtype=torch.float16)
model = PeftModel.from_pretrained(model, adapter)

Подробнее

🔥 eval_loss: 2.0027 → 1.5914; perplexity: 7.4092 → 4.9107.
🤔 train_loss 1.4002; runtime 682.49 s; samples/s 0.563.
👀 Данные: ~20k HQ instruction rows, eval ~512 строк; upstream corpus family klei1/bleta-sq-dataset-v1.
🚀 Железо: free Colab T4, 4-bit; vision/audio ветки не входят в адаптер.
⛔ Ограничение: школьный тьюторинг 6–12 классов; при соблюдении system prompt и Siguri examples отказывается помогать со списыванием и полными оценёнными эссе.