RoBERTuito-Toxicidad-SV
детектор токсичности для Сальвадора
2 мин чтенияобновлено
Это дообученный RoBERTuito (109 млн параметров) от команды Universidad de El Salvador. Модель классифицирует публикации на испанском из X и Facebook на четыре класса: нет токсичности, оскорбительная лексика, разжигание ненависти и угрозы/насилие. Ориентирована на сальвадорский контекст.
Ключевые особенности
- Четыре класса с приоритетом: угрозы/насилие > разжигание ненависти > оскорбительная лексика > нет токсичности.
- Один RoBERTuito на 109 млн параметров, дистиллированный из ансамбля трёх моделей; обучен на 20 028 текстах.
- На основном тесте F1-macro 0.752 и точность 0.859; AUROC «токсичный vs. нетоксичный» — 0.952.
- В репозитории есть нормализатор текста: Unicode NFC, замена упоминаний, URL и эмодзи; вероятности калибруются с T = 1.415.
- Не автономный модератор: класс «разжигание ненависти» самый слабый (recall 0.595), а на Facebook F1 примерно на 10 пунктов ниже, чем на X.
Пример
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
REPO = "cs21004/robertuito-toxicidad-sv"
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForSequenceClassification.from_pretrained(REPO).eval()
# перед подачей текст нужно нормализовать normalization.py из репозитория
enc = tok(texto_normalizado, truncation=True, max_length=128, return_tensors="pt")
print(model(**enc).logits)
Подробнее
F1-macro на официальном тесте (n = 460): 0.827; на X — 0.857, на Facebook — 0.757.Обучение: одна RTX 4060 Laptop на 8 ГБ, около 30 минут на учителя и 12 минут на каждую семя студента.
Ограничения: слабый recall для разжигания ненависти (0.595), разметка — консенсус LLM-аннотаторов без системной человеческой проверки.










Комментарии