DistilBERTforITSupport
маршрутизация вопросов IT-поддержки по 5 категориям
2 мин чтенияобновлено
Модель решает задачу классификации текста: по заголовку и описанию проблемы она распределяет обращения в IT-поддержку по пяти очередям — Linux, Apple, Android, Server & Network и Security. В основе лежит компактная языковая модель distilbert-base-uncased, дообученная автором Vishwajeet Adkine на реальных вопросах пользователей из пяти профильных сообществ Stack Exchange. Главная особенность карточки — честное сравнение с классическим бейзлайном (TF-IDF + логистическая регрессия), которое показывает, что на этих данных нейросеть работает наравне с простым статистическим подходом. Релиз пригодится разработчикам как готовый прототип для сортировки англоязычных тикетов и наглядный учебный пример файнтюна трансформера.
Ключевые особенности
- Принимает на вход заголовок и текст вопроса длиной до 256 токенов и возвращает вероятности для 5 классов.
- Обучена на реальных текстах из сообществ Ask Ubuntu, Ask Different, Android Enthusiasts, Server Fault и Information Security (до 4000 вопросов на класс).
- Достигает точности 0.8930 (Macro-F1 — 0.8927), что практически совпадает с результатом TF-IDF + Logistic Regression (0.8940).
- Работает только с английским языком и не охватывает категории вроде Windows, облачных сервисов, баз данных или железа.
Что можно сделать
- Собрать прототип для первичной маршрутизации англоязычных обращений в службу поддержки по пяти базовым направлениям с передачей спорных запросов человеку.
- Использовать модель и описанную методологию как эталонный эксперимент для проверки, оправдан ли запуск трансформера вместо лёгкого TF-IDF на ваших текстовых данных.
Пример
from transformers import pipeline
clf = pipeline("text-classification", model="vishwajeet456/DistilBERTforITSupport", top_k=None)
clf("Nginx returns 502 after moving the backend to a new subnet.")Подробнее
Метрики на тестовой выборке: Accuracy — 0.8930, Macro-F1 — 0.8927 (против 0.8940 у TF-IDF + Logistic Regression).Параметры обучения: 3 эпохи, batch size 32, learning rate 2e-5, max length 256, fp16, разбиение выборки 80/10/10.
Ограничения: обучающие метки взяты по названиям сообществ Stack Exchange, поэтому качество на внутренних корпоративных тикетах может снижаться.
Лицензия: базовая модель под Apache-2.0, но датасет Stack Exchange использует CC BY-SA и имеет пометку о некоммерческом использовании — проверяйте условия перед применением в продакшене.










Комментарии