Sapientiae Auto Advisor 7B

Это QLoRA-адаптер для Qwen/Qwen2.5-7B-Instruct от redflags33. Обучен на redflags33/sapientiae-nhtsa-sft для двух задач: разбора вопросов об автомобилях в строгий JSON и составления отчётов о надёжности со ссылками на NHTSA.

📝 Ключевые особенности

• 📝 Две задачи: query_parser и report_summarizer.
• 🤓 query_parser превращает свободный вопрос в JSON из 7 ключей: make, model, year_start, year_end, issue_keywords, issue_description, query_intent.
• 👍 report_summarizer пишет отчёт о надёжности автомобиля с опорой на данные и ссылками на ID жалоб и бюллетеней NHTSA.
• ⌨ QLoRA: 4-bit NF4 с double quantization, r=16, alpha=32, dropout=0.05.
• 🏃‍♂ Обучение на Tesla T4: 3 эпохи, max_length 4096 без обрезания, loss только на ответе ассистента.

📝 Пример

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained("redflags33/sapientiae-auto-advisor-7b-lora", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("redflags33/sapientiae-auto-advisor-7b-lora")

Подробнее

Бенчмарки на held-out (10%, 36 строк query_parser): eval_loss 1.1651 → 0.1637; json_valid_rate (strict 7-key) 0.528 → 1.000; make+model match 0.417 → 1.000; year match 0.194 → 1.000.
Обучение: QLoRA 4-bit NF4, r=16, alpha=32, 3 эпохи, lr 0.0002, Tesla T4.
Ограничение: оценка query_parser только на 36 строках; жадное декодирование без repetition penalty.