DDSD pt-BR BERTimbau sem correção
контрольная модель с ловушкой длины
1 мин чтенияобновлено
Это контрольный файнтюн BERTimbau от phelipescript для бразильского португальского: он отличает DD (речь, адресованную компьютеру) от NDD (любой другой речи). База — neuralmind/bert-base-portuguese-cased, около 109 млн параметров. Автор прямо предупреждает: модель не для использования, она опубликована для сравнения в дипломной работе.
Ключевые особенности
- Бинарная классификация фраз pt-BR: DD или NDD.
- Обучена на корпусе без коррекции длины: длина фразы сама предсказывает класс с AUC 0,86.
- На тесте с коррекцией: accuracy 92,21%, F1 macro 0,9218, ROC-AUC 0,9714.
- На реальных транскриптах 27,2% ложных срабатываний против 6,3% у исправленной модели.
- Порог решения — 0,07, а не 0,5; текст нужно нормализовать.
Пример
from transformers import AutoModelForSequenceClassification, AutoTokenizer
repo = 'phelipescript/ddsd-ptbr-bertimbau-sem-correcao'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo).eval()
limiar = model.config.decision_threshold # 0.07, не 0.5
# текст сначала нормализуют: без акцентов, lower, пунктуация -> пробел
# вероятность DD: softmax(model(**tok(texto, return_tensors='pt')).logits)[0, 1]
Подробнее
Обучение: 93 144 фразы, BERTimbau 108,9 млн параметров, Apple M5 16 ГБ, 57 мин.На тесте с коррекцией: accuracy 92,21%, F1 macro 0,9218, ROC-AUC 0,9714, EER 8,32%.
Ложные активации на реальных транскриптах: 27,2% (CORAA, NURC-SP, TAGARELA), у модели с коррекцией — 6,3%.
Ограничения: 100% синтетический корпус, только текст, без контекста, одна реальная голосовая оценка.










Комментарии