NCM Classifier BERTimbau
экспериментальный классификатор налоговых кодов NCM
1 min read
Это файнтюн neuralmind/bert-base-portuguese-cased от Amanda Gondra: 0,11 млрд параметров, португальский язык и 37 позиций NCM. Обучение шло на 900 строках примерно за 8 минут на Tesla T4. Автор отдельно подчёркивает: это документированный эксперимент, а не основная модель — для практики рекомендован AmandaGondra/ncm-classifier.
Ключевые особенности
- Классификация текстов на португальском в 37 позиций NCM.
- Fine-tuning BERTimbau с взвешенной по классам функцией потерь, AdamW, lr 3e-5 и float16.
- Около 8 минут обучения на Tesla T4; до 128 токенов, batch 16, 10 эпох.
- Температурная калибровка (T = 0.5391) и правило 31.05 (
small_package). - Не основной вариант: автор отмечает больше ошибок с высокой уверенностью и примерно в 50 раз больше времени на предсказание в CPU.
Пример
from huggingface_hub import snapshot_download
from ncm_classifier.models.bertimbau import load_model, predict_proba
from ncm_classifier.models.transformer_support import prepare_input
path = snapshot_download("AmandaGondra/ncm-classifier-bertimbau", revision="v0.1.0")
model, tokenizer, classes = load_model(path)
proba = predict_proba(
model, tokenizer, prepare_input(["Ureia agrícola, pacote 1 kg"], "normalized"), 128
)Подробнее
top-1: 0.9589 на test_v1 и 0.9189 на test_v2; macro F1: 0.9599 и 0.9180.ECE после калибровки: 0.2091 → 0.0144 на test_v1 и 0.1960 → 0.0574 на test_v2.
Ограничения: одна seed, калибровка хуже перенеслась на финальную модель, метрика 95% на принятых не удержалась на test_v2.
Лицензия MIT; данные обучения включают описания сторонних объявлений и не перераспространяются.










Comments