Support Ticket Router
LoRA для банковских обращений
1 мин чтения
Это LoRA-адаптер, который адаптирует Qwen2.5-0.5B-Instruct для маршрутизации английских сообщений в банковскую поддержку по восьми интентам. Обучение заняло 20 шагов оптимизатора на подмножестве CLINC150; для работы нужны веса базовой модели.
Ключевые особенности
- Восемь интентов: balance, transfer, transactions, report_fraud, freeze_account, pin_change, spending_history, account_blocked.
- Англоязычные сообщения банковской поддержки.
- На 80 отложенных примерах accuracy выросла с 33,75% до 78,75% (63 верных).
- Macro-F1 поднялся с 0,327 до 0,800.
- Адаптер вернул три недопустимые метки — результат нужно проверять.
- Тест не измеряет работу на реальных тикетах и неподдерживаемых запросах.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "VaibhavSuman04/support-ticket-router-qwen2.5-0.5b-lora"
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
model = PeftModel.from_pretrained(base, repo).eval()
# далее — apply_chat_template и generate
Подробнее
Accuracy: с 33,75% до 78,75% на 80 отложенных сообщениях (63 верных).Macro-F1: с 0,327 до 0,800.
Адаптер требует веса Qwen2.5-0.5B-Instruct; тест покрывал только восемь поддерживаемых интентов.
Перед маршрутизацией проверяйте сгенерированную метку.










Комментарии