ticket-routing-distilbert
лёгкий классификатор банковских обращений
2 мин чтенияобновлено
Модель определяет намерение клиента (intent classification) и распределяет входящие заявки в службу поддержки по 77 банковским категориям. Она построена на базе компактной языковой модели distilbert-base-uncased (около 67 млн параметров) от автора nzgl21 и обучена на датасете Banking77. В отличие от классического подхода на базе TF-IDF, нейросетевой файнтюн лучше понимает контекст запроса и повышает точность маршрутизации. Подойдёт разработчикам банковских сервисов и микросервисов поддержки, которым нужен быстрый классификатор для английского языка без больших затрат ресурсов.
Ключевые особенности
- Полноценный файнтюн (full fine-tuning) компактной архитектуры DistilBERT на 66.9M параметров.
- Классификация запросов сразу по 77 узким банковским тематикам.
- Готова к запуску через стандартный
pipelineиз библиотекиtransformers. - Превосходит классический бейзлайн (TF-IDF + LogReg + Bayes) по метрике Macro F1 (0.9175 против 0.8901).
Что можно сделать
- Встроить в микросервис клиентской поддержки для автоматической маршрутизации тикетов по профильным отделам банка.
- Использовать как быстрый первый фильтр в чат-ботах для определения тематики вопроса перед передачей оператору или LLM.
Пример
from transformers import pipeline
classifier = pipeline("text-classification", model="nzgl21/ticket-routing-distilbert")
ticket = "I noticed an unknown fee charged on my credit card statement."
print(classifier(ticket))
# [{'label': 'card_payment_fee_charged', 'score': 0.964}]Подробнее
Метрики на тестовой выборке Banking77 (3 080 примеров): Test Accuracy — 0.9175, Test Macro F1 — 0.9175, Test Precision (Macro) — 0.9209, Test Recall (Macro) — 0.9175.По сравнению с версией на базе LoRA (r=32, ~1.8M обучаемых параметров, F1 0.9132) полный файнтюн показывает чуть более высокий результат.
Ограничения: модель обучена на английском языке и узкой банковской тематике.










Комментарии