Qwen2.5-1.5B-qlora-zhtw

Это Qwen/Qwen2.5-1.5B-Instruct, дообученная через QLoRA на примерно 3,6 тыс. пар вопрос-ответ на традиционном китайском в тайваньском употреблении. Основной эффект — словарь: модель реже использует материковые термины вроде 視頻, 軟件, 硬件 и чаще тайваньские 影片, 軟體, 硬體. В репозитории лежит merged-модель в fp16, её можно загрузить напрямую.

🔥 Ключевые особенности

• 🔥 QLoRA: 4-bit NF4 + LoRA, затем merged во fp16; обучалось 18,5M из 1,56B параметров (1,18%).
• ✅ Около 3,6 тыс. человеческих пар вопрос-ответ, 1 эпоха; loss считается только по ответу.
• 🦾 В тесте на 20 бытовых вопросах: 1 материковый термин против 18 у базовой модели.
• 📉 Ответы короче и суше, часто начинаются с «答：» или «答案：» — стиль унаследован от данных.
• 🤝 Лицензия Apache 2.0 — как у базовой модели и датасета.

😎 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "mikeforai/Qwen2.5-1.5B-qlora-zhtw"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float16, device_map="auto")
messages = [{"role": "user", "content": "電腦開機很慢，可能是什麼原因？"}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)

Подробнее

📉 Валидация: loss 1,504, perplexity 4,50; TMMLU+ 0,422 против 0,418 у базы (0-shot, 50 вопросов).
🦾 Обучение: 2×Tesla T4, ~15 минут, 1 эпоха, max 512 токенов; обучаемых параметров 18,5M из 1,56B (1,18%).
Ограничения: 1,5B, маленький общий датасет, короткие ответы, оценка на 50 вопросах на подзадачу и 20 промптах, без human preference study.