tinydistill-banking77-static

Небольшой текстовый классификатор от Shroomy, дистиллированный из Qwen/Qwen2.5-7B-Instruct в static с помощью tinydistill и экспортированный в ONNX для быстрого инференса на CPU. Модель определяет один из 77 банковских интентов.

📌 Ключевые особенности

• 🖥 ONNX-экспорт: инференс на CPU, в замерах использовались 2 потока.
• 📊 На тесте banking77 (3080 текстов): accuracy 0.802, macro-F1 0.801.
• 💎 int8-версия занимает 8 МБ; fp32 и PyTorch-версии — 31 МБ.
• 🔄 Студент учился на soft labels teacher для всех 10 003 тренировочных текстов и cross-entropy на 616 gold-примерах.
• 🗣 77 фиксированных классов — от activate_my_card до transfer_timing.
• ⚠ Это не универсальный LLM, а классификатор только в заданные 77 классов.

💡 Пример

from tinydistill import Predictor

clf = Predictor("hf:Shroomy/tinydistill-banking77-static")
clf.predict(["I lost my card"])

Подробнее

Accuracy 0.802 и macro-F1 0.801 на 3080 gold-текстах banking77; у teacher 8-shot 4-bit — 0.783/0.779.
ONNX int8: 8 МБ, около 0,1 мс на текст при batch 1 и ~6328 текстов/с на CPU (2 потока).
В каскаде при отправке 30% неуверенных текстов teacher accuracy — 0.804.
Ограничение: метки фиксированы; перед использованием проверьте лицензии student, teacher и обучающих данных.