Qwen3-4B Banking77 Router
LoRA-адаптер для маршрутизации банковской поддержки
2 min read
LoRA-адаптер (небольшая надстройка над базовой моделью) для языковой модели Qwen/Qwen3-4B-Instruct-2507 от автора vishal77796. Модель получает на вход обращение клиента банка на английском языке и возвращает ровно одну метку: либо один из 77 стандартных банковских интентов (намерений) датасета Banking77, либо класс none_of_these, если запрос не относится к тематике. В отличие от родственного адаптера qwen3-4b-banking77-full-lora, который всегда выбирает один из 77 классов, эта версия умеет отсеивать нецелевые сообщения (out-of-scope). Подойдёт разработчикам чат-ботов и систем автоматической сортировки тикетов в англоязычном финтехе.
Ключевые особенности
- Точная классификация и фильтр офтопа: определяет 77 банковских сценариев с точностью 91,0% и распознаёт посторонние запросы с полнотой 99,0%.
- Скромные требования к памяти: после объединения весов (
merge_and_unload()) в fp16 модель занимает 7,59 ГБ VRAM при обработке по одному запросу и 9,12 ГБ при батче 16. - Быстрый отклик: медианная задержка (p50) для одного сообщения составляет 258 мс, а пропускная способность достигает 11,52 сообщений в секунду на батче 32.
- Обучение всех линейных слоёв: адаптер с рангом 16 и alpha 32 натренирован на сбалансированной выборке из 2000 банковских и 200 нецелевых примеров из CLINC150.
Что можно сделать
- Первичная сортировка тикетов: встроить в англоязычный саппорт-бот, чтобы автоматически направлять обращения о задержке карт, переводах или блокировках в нужный отдел.
- Отсев нецелевых запросов: использовать как лёгкий роутер перед основной LLM, чтобы отбрасывать вопросы не по теме банка с помощью метки
none_of_these. - Сравнение компактных и крупных моделей: протестировать качество маршрутизации 4B-модели с LoRA против более тяжёлых LLM в задачах классификации интентов.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B-Instruct-2507")
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-4B-Instruct-2507", dtype=torch.float16).to("cuda")
model = PeftModel.from_pretrained(base, "vishal77796/qwen3-4b-banking77-router-lora").eval()
# Подайте системный промпт со списком из 77 меток + none_of_these и текст клиента (max_new_tokens=16)
Подробнее
Метрики на тесте (700 сообщений): общая точность 93,3% (93,5% ± 0,7% по трём сидам), точность в рамках 77 классов — 91,0%, полнота отсева офтопа — 99,0%.Замеры скорости сделаны на одной Quadro RTX 6000 (fp16, greedy decoding, ~455 токенов в промпте) при частичной загрузке карты другими задачами.
Ограничения: работает только с английским языком, не проверялась на реальном банковском трафике и близких к банковской теме нецелевых запросах; при двух проблемах в одном сообщении возвращает только одну метку.










Comments