Shanghai Local-Life LoRA
помощник для жителей Шанхая
2 min readupdated
Это LoRA-адаптер для Qwen/Qwen3.5-9B от binbinao: текстовый SFT под бытовые вопросы жителей Шанхая — соцстрахование, ЖКХ, транспорт, школы, медицина, пенсии, госуслуги, работа и туризм. Обучен на 202 фактах с официальными источниками и 955 синтетических диалогах; отвечает кратко и указывает каналы оформления.
Ключевые особенности
- 202 факта по 10 темам; у каждого — официальный source_url, срок действия и пометки об изменениях.
- LoRA r=32, alpha=64, dropout=0.05; 86.6M обучаемых параметров (0.96%), attention/MLP и линейное внимание
in_proj_*/out_proj, безlm_head. - 1455 примеров: 955 шанхайских Q&A + 500
alpaca-zhпротив забывания;enable_thinking=False. - На 62 отложенных вопросах: bigram F1 0.140 против 0.107 у базы; первое ключевое число — 52% против 41%; ответы короче: 209 против 665 символов.
- С BM25 RAG top-1: bigram F1 0.580, number recall 0.765, первое ключевое число — 77%.
- В закрытом режиме может путать близкие темы; цифры и сроки лучше проверять по официальным страницам.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
base = "Qwen/Qwen3.5-9B"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "binbinao/qwen3.5-9b-shanghai-lora").eval()
Подробнее
Обучение: LoRA r=32, alpha=64, dropout=0.05; 86.6M параметров (0.96%), 3 эпохи / 546 шагов, lr 1e-4, bf16, max_length 2048.Железо: одна NVIDIA L20 46GB, 21m56s, пик 23.9 GiB.
Оценка на 62 отложенных вопросах: bigram F1 0.140 против 0.107 у базы; первое ключевое число — 52% против 41%.
С BM25 RAG top-1: F1 0.580, number recall 0.765, первое ключевое число — 77%.
Ограничения: в закрытом режиме может путать соседние темы; суммы, сроки и проценты сверяйте с официальными source_url; 15% фактов модель не видела; факты — на 2026-11.










Comments