Dante Qwen2.5-0.5B LoRA
стиль «Божественной комедии» за 5 минут на T4
2 мин чтения
Это LoRA-адаптер для Qwen/Qwen2.5-0.5B, который переносит модель в стиль «La Divina Commedia» Данте Алигьери. Обучен на итальянском тексте из Project Gutenberg eBook #1000 и обновляет около 1.8% параметров базовой модели.
Ключевые особенности
- База — Qwen/Qwen2.5-0.5B; адаптер нацелен на итальянский язык и стиль «Комедии».
- LoRA: r=16, alpha=32, dropout 0.05; обновляются q/k/v/o и gate/up/down-проекции, ~1.8% параметров.
- Обучение на бесплатном Google Colab T4 заняло около 5 минут: 3 эпохи, 256-токенные блоки, effective batch 16, lr 2e-4 cosine, fp16.
- Оценка в bits per character на одном валидационном тексте: 1.791 у адаптера, 2.220 у базовой Qwen2.5-0.5B и 2.005 у DanteGPT 10.65M from scratch.
- Есть родственная модель omarkilbi/dante-gpt-scratch — 10.65M GPT, обученная с нуля на том же тексте.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
tok = AutoTokenizer.from_pretrained('Qwen/Qwen2.5-0.5B')
base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-0.5B')
model = PeftModel.from_pretrained(base, 'omarkilbi/dante-qwen2.5-0.5b-lora')
inp = tok('O tu che paghi il pedaggio', return_tensors='pt')
out = model.generate(**inp, max_new_tokens=150, temperature=0.8, top_p=0.95)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Бенчмарк: validation bits per character — 1.791 у LoRA, 2.220 у базовой Qwen2.5-0.5B, 2.005 у DanteGPT 10.65M.Железо: бесплатный Google Colab T4, обучение ~5 минут; обновлено ~1.8% параметров.
Ограничения: учебный проект, не для литературных или фактических задач; валидационные цифры частично затронуты memorization «Комедии»; модель иногда выдумывает слова и выдаёт заголовки вроде «Purgatorio / Canto XXIV».










Комментарии