banking77-qwen2.5-0.5b-lora
классификатор обращений в банк на базе 0.5B-модели
2 мин чтенияобновлено
Компактный LoRA-адаптер (небольшая надстройка над базовой моделью) от MuzammilAhmad превращает языковую модель Qwen2.5-0.5B-Instruct в классификатор клиентских сообщений из банковского датасета Banking77. На вход подаётся фраза клиента на английском языке, а на выходе модель возвращает JSON с одним из 77 интентов (намерений), например доставку карты или пополнение счёта. По сравнению с базовой моделью без дообучения точность выросла с 25.2% до 90.7%, а доля выдуманных меток упала с 25.2% до 0.2%. Решение пригодится разработчикам банковских чат-ботов и систем маршрутизации тикетов, которым нужна быстрая и лёгкая модель.
Ключевые особенности
- Высокая точность на 0.5B параметрах: 90.7% на полном тестовом наборе Banking77 из 3,080 сообщений при задержке 0.143 секунды в квантовании Q4_K_M под Ollama.
- Строгий формат ответа: модель выдаёт валидный JSON в 99.2% случаев, а список всех 77 меток передаётся в системном промпте из файла
labels.json. - Эффективное дообучение: использован метод QLoRA (квантованное дообучение) через библиотеку Unsloth с 8.8 млн обучаемых параметров (1.75% от всей модели).
- Открытая лицензия Apache 2.0 и готовый пайплайн для объединения весов и конвертации в формат GGUF для llama.cpp и Ollama.
Что можно сделать
- Встроить в англоязычный банковский бот или службу поддержки для автоматической сортировки входящих обращений по 77 категориям.
- Запускать локально или на недорогом сервере через Ollama после объединения адаптера с базовой моделью и квантования в Q4_K_M.
- Использовать в связке с пороговой фильтрацией уверенности (guardrails из репозитория автора), чтобы отсеивать сообщения не по теме.
Пример
import json, torch
from huggingface_hub import hf_hub_download
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
REPO = "MuzammilAhmad/banking77-qwen2.5-0.5b-lora"
BASE = "Qwen/Qwen2.5-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(BASE)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(BASE), REPO).merge_and_unload().eval()Подробнее
Метрики (Banking77, 3,080 примеров, Q4_K_M в Ollama): Accuracy — 90.7% (против 25.2% у базы), Valid JSON — 99.2%, выдуманные метки — 0.2%, задержка — 0.143 с.Обучение: 2 эпохи на 8,997 примерах (валидация 1,002), LoRA r=16, alpha=32, lr 2e-4, 35 минут на одной GPU T4 в Colab.
Ограничения: только английский язык, обработка по одному сообщению без истории диалога; в ~1% ответов теряется закрывающая кавычка в JSON, а запросы не по теме всё равно получают одну из 77 меток без дополнительных guardrails.










Комментарии