BERT для детекции токсичности

Это bert-base-uncased, дообученный на английских комментариях из google/civil_comments для бинарной классификации: токсично или нет. Модель создана в рамках университетского проекта Universidad Bernardo O'Higgins (2026) как компонент блога с модерацией комментариев. Размер — около 0,11 млрд параметров, язык — только английский.

🔥 Ключевые особенности

• ✅ Бинарная метка: toxico = 1, если исходная оценка токсичности ≥ 0,5; иначе 0.
• 📚 Обучение на 49 925 комментариях после очистки; класс токсичных — 7,91%.
• 💻 5 эпох, learning rate 2e-5, max_length 256, fp16 на GPU T4, early stopping.
• 📍 Лучшая модель выбиралась по F1 macro на валидации.
• ❗ Предназначена для помощи модераторам, а не для автоматических санкций.

💻 Пример

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
mid = 'bmerino10/vigia-bert-toxicidad'
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForSequenceClassification.from_pretrained(mid).eval()
enc = tok('You are a complete idiot and nobody wants you here.', truncation=True, max_length=256, return_tensors='pt')
with torch.no_grad(): probs = torch.softmax(model(**enc).logits, dim=-1)[0]
print(f'Prob. tóxico: {probs[1]:.4f}')  # порог 0.5

Подробнее

На тесте из 7 489 комментариев: accuracy 0,9424, F1 macro 0,8043, F1 токсичного клас��а 0,6399.
Класс токсичных: precision 0,63, recall 0,65 — примерно каждый третий флаг может быть ложным.
Только английский; возможны ошибки на сарказме, цитатах и контексте; аудит смещений не проводился.
Обучение: 5 эпох с early stopping, lr 2e-5, batch 8/16, weight decay 0,01, seed 42.