Sokolik-tox-pl
польский классификатор вредного контента
2 мин чтенияобновлено
Это файнтюн Sokolik-300M от masluny (0,3 млрд параметров) для бинарной классификации вредных текстов на польском. Обучен на BAN-PL — 24 000 комментариев Wykop, половину которых удалили модераторы. Дополнительно добавлены 2 000 безвредных фраз с матом как негативы, чтобы модель реже помечала бытовую ругань.
Ключевые особенности
- Бинарная классификация: harmful / not harmful, порог берётся из
tox_threshold. - Полный файнтюн Sokolik-300M с линейной головой на закрывающем токене.
- Токенизатор оборачивает текст в
<|endoftext|>, дополняет<|end|>; обрезка на 256 токенах. - Учит отличать безвредный мат от вредного: доля ложных срабатываний на безвредной ругани снижена с 90% до 65%.
- Устойчивость к обфускации неполная:
k*rwa— recall 0,97,k u r w a— 0,72.
Пример
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tok = AutoTokenizer.from_pretrained("masluny/sokolik-tox-pl")
model = AutoModelForSequenceClassification.from_pretrained("masluny/sokolik-tox-pl")
texts = ["Kurwa, ale dobry ten film!", "Spierdalaj, debilu."]
batch = tok(texts, padding=True, truncation=True, return_tensors="pt")
p = model(**batch).logits.softmax(-1)[:, 1]
harmful = p >= model.config.tox_threshold # не 0.5
Подробнее
BAN-PL test (2 409 текстов): macro-F1 0,935, PR-AUC 0,985; у polish-roberta-large-v2 — 0,951 и 0,990.На безвредной ругани модель помечает вредной 65% против 90% у версии только на BAN-PL; recall на вредной ругани — 0,87 против 0,99.
Ограничения: определение вреда из модерации одного сайта; пробелы в буквах (
k u r w a) обходят модель в более чем четверти случаев; один seed, синтетические безвредные фразы.Авторы BAN-PL просят не использовать данные для обучения LLM; здесь — только файнтюн классификатора.










Комментарии