xlmr-hate-speech-sv
испанская токсичность под контролем
1 min readupdated
Это fine-tune модели xlm-roberta-base (~0.28 млрд параметров) от TheArbite для классификации токсичного контента, оскорбительного языка, hate speech и угроз в испанских текстах. Карточка описывает модель как мультиязычную базу, оптимизированную под социолингвистические нюансы и локальные идиомы.
Ключевые особенности
- Четыре класса:
No Tóxico,Lenguaje Ofensivo,Discurso de Odio,Amenazas/Violencia. - Официальная оценка на
test_oficial_limpio.csv(N=4,727): Accuracy 86.91%, F1-Macro 82.08%. - Веса выбирались по F1-Macro — чтобы не терять меньшинственные классы вроде hate speech и угроз.
- Заявлена проверка на data leakage: train/validation/test не пересекаются.
- Остаточная ошибка 13.09% в основном приходится на семантическую неоднозначность и разговорные идиомы.
Пример
Сценарий из карточки: на вход подаётся испанский текст, на выходе — одна из четырёх меток: No Tóxico, Lenguaje Ofensivo, Discurso de Odio или Amenazas/Violencia.
Подробнее
Accuracy: 86.91%, F1-Macro: 82.08% на N=4,727.F1 по классам: No Tóxico — 0.8670, Lenguaje Ofensivo — 0.9094, Discurso de Odio — 0.7831, Amenazas/Violencia — 0.7238.
База —
xlm-roberta-base, ~0.28B параметров; карточка и метрики — для испанского.Ограничение: ошибки чаще в неоднозначных и разговорных выражениях.










Comments