qwen2.5-0.5b-banking77-10intent-lora

Это LoRA-файнтюн Qwen/Qwen2.5-0.5B-Instruct от Boole AI, Inc. для классификации сообщений банковской поддержки в 10 интентов BANKING77. Модель отвечает ровно одной меткой; в репозитории лежат merged-веса fp32, адаптер, скрипты обучения/оценки и сырые eval-выходы.

⚙ Ключевые особенности

• 🧬 База — Qwen2.5-0.5B-Instruct, около 0.49B параметров.
• ⚙ LoRA: r=16, alpha=32, dropout 0.05; 8.8M обучаемых параметров (1.75%).
• 📊 На held-out test exact-match accuracy выросла с 60.75% до 97.75%, доля валидных меток — с 82.75% до 100%.
• 💡 Обучение шло только на 600 примерах: по 60 на каждый из 10 интентов.
• 🖐 Задача узкая: 10 интентов, короткие одноходовые сообщения на английском.

💡 Пример

python scripts/eval.py Qwen/Qwen2.5-0.5B-Instruct eval_base.json
python scripts/train.py
python scripts/eval.py out/merged eval_finetuned.json

Скриптам нужны train.csv и test.csv из репозитория PolyAI в рабочей директории.

Подробнее

Точность exact-match: 97.75% (391/400) против 60.75% (243/400) у базовой zero-shot модели; валидная метка — 100% против 82.75%.
Обучение: CPU only, 8-ядерный Intel Xeon, 15 GB RAM, без GPU; около 20 минут (1,212 с).
Ограничения: только 10 из 77 интентов BANKING77, один seed, без подбора гиперпараметров; это демонстрационный артефакт, не production-модель.