phi-egypt-history-qlora

Адаптер Manar-Abdelgawad на базе microsoft/Phi-3.5-mini-instruct. Это QLoRA-файнтюн, который отвечает на вопросы о древних памятниках, фараонах и исторических местах Египта. Базовая модель — 3.8B параметров, адаптер обучен через LLaMA-Factory в 4-bit.

🔥 Ключевые особенности

• 🔥 База — microsoft/Phi-3.5-mini-instruct (3.8B), загрузка в 4-bit QLoRA.
• 💪 Специализация — вопросы по истории Египта: пирамиды Гизы, Карнак, Абу-Симбел, Долина царей.
• 👀 Обучение — 200 английских Q&A, 3 эпохи, LoRA rank r=16, финальный loss 0.68.
• 😐 Ограничения — узкий датасет может снизить general-purpose reasoning вне египтологии.

👉 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
bnb = BitsAndBytesConfig(load_in_4bit=True)
tok = AutoTokenizer.from_pretrained('microsoft/Phi-3.5-mini-instruct')
base = AutoModelForCausalLM.from_pretrained('microsoft/Phi-3.5-mini-instruct', quantization_config=bnb, device_map='auto')
model = PeftModel.from_pretrained(base, 'Manar-Abdelgawad/phi-egypt-history-qlora')
prompt = '<|user|>\nWho built the Great Pyramid of Giza?<|end|>\n<|assistant|>\n'
print(tok.decode(model.generate(**tok(prompt, return_tensors='pt').to('cuda'), max_new_tokens=60)[0], skip_special_tokens=True))

Подробнее

База: Phi-3.5-mini-instruct, 3.8B; адаптер грузится поверх неё в 4-bit.
Обучение: 200 английских Q&A, 3 эпохи, LoRA r=16, loss 0.68.
Ограничения: узкий домен; вне египтологии возможна потеря general-purpose reasoning.
На редких исторических персонажах возможны галлюцинации.