Qwen2.5-3B Character Imitation

Это полная FP16-модель на базе Qwen2.5-3B-Instruct, в которую влит LoRA-адаптер для имитации стиля персонажа. Дайте 2–3 примера реплик — модель ответит в похожей манере, с теми же словами и речевыми привычками. Размер — 3,09 млрд параметров, контекст 32 768 токенов.

⚡ Ключевые особенности

• 🎯 Обучена на 1 500 китайских примерах стилизации, охватывающих около 626 архетипов персонажей.
• 🧩 LoRA r=16, α=32 обучена через LLaMA-Factory SFT и объединена с базой через PEFT merge_and_unload.
• 🧊 FP16-версия весит около 6,2 ГБ; есть GGUF-квантования, включая Q4 примерно на 1,8 ГБ.
• 🛑 Работает по фиксированному китайскому шаблону с примерами цитат — без них качество заметно падает.
• 🔎 Ответы обычно короткие, в одну фразу; модель имитирует манеру речи, а не знания.
• ⚙ Загружается напрямую через transformers; также совместима с vLLM, llama.cpp после GGUF и Ollama.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer; import torch
model = AutoModelForCausalLM.from_pretrained('ws-fy/qwen2.5-3b-character-imitation', torch_dtype=torch.float16, device_map='auto')
tok = AutoTokenizer.from_pretrained('ws-fy/qwen2.5-3b-character-imitation')
prompt = '模仿下面角色语录的说话风格，用同样的语气、用词习惯和口癖回答用户的问题。\n语录示例：\n“你可别不当回事，大妈吃的盐比你吃的米都多。”\n问题：我最近总是失眠怎么办？'
messages = [{'role': 'user', 'content': prompt}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(text, return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=128, do_sample=True, temperature=0.8, top_p=0.9)

Подробнее

Обучение: loss 2,82 → 0,003; после 2-й эпохи loss ниже 0,02 — есть склонность к запоминанию.
Железо: обучалась на RTX 2080 Ti 22 ГБ; FP16 около 6,2 ГБ, Q4 около 1,8 ГБ.
Ограничения: только китайские стили, короткие ответы, ограниченные мировые знания 3B-базы.
Лицензия базовой Qwen Research — перед коммерческим использованием проверьте условия.