Sapientiae Auto Advisor 7B
QLoRA-адаптер для разбора автожалоб
1 min read
Это QLoRA-адаптер для Qwen/Qwen2.5-7B-Instruct от redflags33. Обучен на redflags33/sapientiae-nhtsa-sft для двух задач: разбора вопросов об автомобилях в строгий JSON и составления отчётов о надёжности со ссылками на NHTSA.
Ключевые особенности
- Две задачи:
query_parserиreport_summarizer. query_parserпревращает свободный вопрос в JSON из 7 ключей:make,model,year_start,year_end,issue_keywords,issue_description,query_intent.report_summarizerпишет отчёт о надёжности автомобиля с опорой на данные и ссылками на ID жалоб и бюллетеней NHTSA.- QLoRA: 4-bit NF4 с double quantization, r=16, alpha=32, dropout=0.05.
- Обучение на Tesla T4: 3 эпохи, max_length 4096 без обрезания, loss только на ответе ассистента.
Пример
from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
model = AutoPeftModelForCausalLM.from_pretrained("redflags33/sapientiae-auto-advisor-7b-lora", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("redflags33/sapientiae-auto-advisor-7b-lora")
Подробнее
Бенчмарки на held-out (10%, 36 строк query_parser): eval_loss 1.1651 → 0.1637; json_valid_rate (strict 7-key) 0.528 → 1.000; make+model match 0.417 → 1.000; year match 0.194 → 1.000.Обучение: QLoRA 4-bit NF4, r=16, alpha=32, 3 эпохи, lr 0.0002, Tesla T4.
Ограничение: оценка query_parser только на 36 строках; жадное декодирование без repetition penalty.










Comments