modernjev-8k
быстрый классификатор банковских обращений на 8192 токена
2 мин чтенияобновлено
Модель modernjev-8k от разработчика vennyvirtuoso решает задачу text-classification — она определяет намерение пользователя в финансовых и банковских запросах по 77 категориям (например, проблема с комиссией за перевод, активация или блокировка карты). В основе лежит компактная двунаправленная архитектура ModernBERT-base на 149 млн параметров с поддержкой контекста до 8 192 токенов и FlashAttention-2. По сравнению с неадаптированной базовой моделью точность на тесте Banking77 выросла с 26,60% до 94,20%, при этом сохраняется высокая скорость отклика и низкая ошибка калибровки вероятностей. Решение пригодится разработчикам финтех-ботов, систем маршрутизации тикетов и RAG-пайплайнов.
Ключевые особенности
- Контекст до 8 192 токенов: двунаправленный энкодер с FlashAttention-2 обрабатывает длинные документы и истории переписок без обрезки.
- Высокая пропускная способность: до 494 решений в секунду на GPU в пакетном режиме и задержка 14,74 мс на один запрос (Batch=1).
- Заметный прирост точности: дообучение на
Open-Jev-v1.1,boolqиbanking77подняло Macro-F1 на отложенной выборке с 0,1698 до 0,6183. - Открытая лицензия: распространяется под Apache 2.0 и совместима со стандартным пайплайном
transformers, а также ONNX Runtime и TensorRT.
Что можно сделать
- Маршрутизация в техподдержке: автоматически распределять входящие тикеты клиентов банка по 77 категориям в реальном времени.
- Роутинг для ИИ-агентов: выбирать нужный инструмент или ветку сценария без генерации лишних токенов.
- Фильтрация и проверка в RAG: выполнять быструю бинарную проверку соответствия (Boolean gating) и отсев галлюцинаций на документах длиной до 8k токенов.
Пример
from transformers import pipeline
classifier = pipeline("text-classification", model="vennyvirtuoso/modernjev-8k", device_map="auto")
queries = [
"Why is there an extra $15 fee charged on my international wire transfer?",
"My card was swallowed by the ATM machine at the airport, what should I do?"
]
print(classifier(queries))Подробнее
Точность на Banking77: 94,20% (против 26,60% у zero-shot базы), на Jev Noul Boolean Gating: 75,20%, общая Macro Accuracy: 63,90%.Expected Calibration Error (ECE): 0,0221, Cross-Entropy Loss: 0,8350.
Параметры: 149M (0,15B), точность весов bfloat16 / fp16, контекст 8 192 токена.
Лицензия: Apache 2.0.










Комментарии