VibeHash/laya-banking77
классификатор банковских запросов с откалиброванной уверенностью
2 min readupdated
Модель определяет намерение (интент) клиента банка по тексту обращения на английском языке, распределяя запрос по 77 категориям датасета Banking77. Это файнтюн компактной архитектуры Laya (0.42B параметров от Convai Innovations), который за один проход выдаёт вероятности всех классов. Главная особенность — откалиброванная уверенность (ECE — ошибка калибровки вероятностей): если модель уверена в ответе выше порога, она отвечает сама, а сомнительные или нецелевые вопросы передаёт живому оператору. Пригодится разработчикам финтех-ботов и систем маршрутизации тикетов поддержки.
Ключевые особенности
- Высокая точность и калибровка: после дообучения точность выросла с 44.0% до 91.5%, а ошибка калибровки (ECE) снизилась с 0.160 до 0.035 — оценка вероятности почти совпадает с реальной долей верных ответов.
- Умение вовремя промолчать: при пороге уверенности 0.979 модель автоматически закрывает 49.4% обращений с точностью 98.8%, отправляя остальные 50.6% оператору вместе со своей лучшей догадкой.
- Защита от оффтопа: на нецелевых вопросах из CLINC150 (погода, биржа, алгебра) средняя уверенность составляет всего 0.165, и только 0.7% таких запросов проходят порог.
- Высокая скорость: медианное время обработки одного сообщения на RTX 4070 SUPER составляет 22 мс, а в батче из 32 сообщений — около 10 мс на запрос.
Что можно сделать
- Автоматизировать первую линию поддержки: встроить модель в англоязычный банковский чат-бот для мгновенной маршрутизации тикетов по 77 темам (блокировка карты, комиссии, переводы).
- Настроить гибридную работу с операторами: использовать параметр
min_confidence, чтобы отдавать автоответы только при 99% уверенности, а спорные кейсы передавать сотрудникам с готовой подсказкой интента.
Пример
import json, laya
from huggingface_hub import hf_hub_download
REPO = "VibeHash/laya-banking77"
model = laya.load(REPO)
questions = json.load(open(hf_hub_download(REPO, "questions.json")))
res = model.predict("Why was I charged a fee for withdrawing cash?", questions, min_confidence=0.979)
ans = res["answers"]["intent"]
print(ans["abstention"], ans["choice"], ans["answer_confidence"])
Подробнее
Точность на тесте Banking77 (3 080 сообщений): 91.5% (2 817 из 3 080), доверительный интервал 95% — 90.4–92.4%.Обучение: 4 эпохи на 9 603 сообщениях (ещё 400 отложены для подбора порога 0.979), 26 минут на одной RTX 4070 SUPER.
Ограничения: только английский язык и стиль запросов одного банковского приложения; слабее всего различает похожие темы вроде поддержки фиатных валют (75%) и статусов переводов (77.5%).
Лицензия: Apache 2.0.










Comments