Qwen3-8B-Tieba-Magic-LoRA
LoRA для абсурдных ответов в стиле 弱智吧
2 мин чтенияобновлено
Это QLoRA-адаптер для Qwen3-8B (8 млрд параметров) от автора xiaozhengzhong. Модель обучена на китайских материалах Baidu Tieba и 弱智吧: вместо нормального объяснения она должна «переиграть» абсурдный вопрос ещё более абсурдной логикой. В репозитории два этапа: Stage-2 в корне и Stage-1 в round1_lora_adapter; язык — китайский.
Ключевые особенности
- База —
unsloth/Qwen3-8B-unsloth-bnb-4bit; 4-bit NF4 QLoRA,r=32,lora_alpha=32. - Stage-2 (корень) — «用魔法打败魔法»: короткие ответы 50–90 символов, без списков и «энциклопедического» тона.
- Stage-1 (
round1_lora_adapter) — более спокойный стиль Tieba: чёрный юмор, но с точными бытовыми и научными ответами. - Обучение: 5 000 примеров Stage-1 и 1 280 примеров Stage-2; trainable 87,29 млн параметров (1,05%).
- Может использоваться для чат-ботов, мемных ответов и стилизации; для фактологии лучше Stage-1.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = 'unsloth/Qwen3-8B-unsloth-bnb-4bit'; repo = 'xiaozhengzhong/Qwen3-8B-Tieba-Magic-LoRA'
tok = AutoTokenizer.from_pretrained(repo)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base, device_map='auto'), repo)
msgs = [{'role': 'user', 'content': 'Почему рыбы не тонут?'}]
prompt = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
print(tok.decode(model.generate(**tok(prompt, return_tensors='pt').to(model.device), max_new_tokens=120)[0], skip_special_tokens=True))
Подробнее
Обучение: 4-bit NF4 QLoRA,r=32, lora_alpha=32; trainable 87,29M из 8,28B (1,05%).Данные: 5 000 примеров Stage-1 и 1 280 примеров Stage-2; Stage-2 loss снизился с 3,3462 до 0,8292–0,8828.
Железо: Google Colab NVIDIA Tesla T4, 16 GB VRAM.
Ограничение: Stage-2 намеренно нарушает здравый смысл; для фактичных ответов используйте
round1_lora_adapter.Язык — китайский; медицинские, юридические и финансовые решения на модель не опирайте.










Комментарии