deepopen banking_sam13

deepopen banking_sam13 — файнтюн Laya (convaiinnovations/laya) для классификации банковских текстовых запросов на 77 классов BANKING77. Около 0,4 млрд параметров, английский язык. Это продолжение обучения с sharpness-aware minimization (SAM), seed 13, от исторического checkpoint на полном train-наборе.

💡 Ключевые особенности

• 🎯 77 классов; обучение на всех 10 003 официальных train-строках.
• 🧬 SAM-продолжение: 2 фиксированные эпохи, 626 обновлений, batch 32, max length 128; encoder LR 2e-6, head LR 2e-5, rho 0.05, weight decay 0.01, BF16.
• ⚙ Нужны кастомные Python-файлы и конфигурация; обычные Transformers pipelines для этого релиза не поддерживаются.
• 🧊 Вероятности не дают калиброванного OOS-отказа.
• 🪙 В релиз включены frozen-предсказания, статистика по классам и SHA256; verifier сверяет порядок строк и требует нулевых отличий от frozen-предсказаний.

🧩 Пример

python -m pip install -r requirements.txt
python infer_banking.py --checkpoint . --text 'what is my bank balance'

Подробнее

Авторская frozen test accuracy: 94.1234% (2899/3080).
SAM seeds 13/42/87: 2899/2896/2894 из 3080; среднее 94.0368%, парные интервалы включают ноль — значимого прироста не установлено.
Checkpoint выбран после просмотра трёх ретроспективных тестов; это лучший наблюдённый seed, а не независимый validation-selected результат.
Исторический результат 94.0909% имеет нерешённый drift воспроизведения; текущий eager FP32 даёт 93.9935%.
Нужны Python 3.12 и CUDA; для полной проверки требуется весь репозиторий.