kgedt/kazakh-profanity-xlmr
детектор мата в казахско-русских отзывах
2 min readupdated
Бинарный классификатор на базе xlm-roberta-base (280M параметров), который определяет наличие казахской ненормативной лексики в пользовательских отзывах и комментариях. Модель обучена на вручную размеченном датасете KazSAnDRA и корректно обрабатывает смешанный казахско-русский текст как на кириллице, так и на латинице. На выходе она возвращает метку 1 (есть мат) или 0 (чисто) с рекомендуемым порогом уверенности 0.8216. Подойдёт разработчикам маркетплейсов, приложений и модераторам площадок с аудиторией из Казахстана.
Ключевые особенности
- Понимает смешанный казахско-русский текст в кириллической и латинской графике.
- Построена на компактной мультиязычной архитектуре
xlm-roberta-base(0.28B параметров) и легко запускается черезtransformers. - Показывает F1-меру 0.962 на сбалансированной тестовой выборке и 0.890 при взвешивании под реальный поток отзывов.
Что можно сделать
- Встроить автоматическую премодерацию отзывов и комментариев в мобильных приложениях и маркетплейсах.
- Фильтровать токсичный пользовательский контент в чатах и соцсетях с двуязычной аудиторией.
Пример
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
repo = "kgedt/kazakh-profanity-xlmr"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo).eval()
enc = tok(["Бұл тауар өте жақсы"], truncation=True, max_length=128, return_tensors="pt")
print(int(torch.softmax(model(**enc).logits, dim=1)[:, 1].item() >= 0.8216))Подробнее
Метрики на тесте (271 отзыв): Precision 0.962, Recall 0.962, F1 0.962 (F1 0.890 на реальном распределении).Максимальная длина контекста — 128 токенов, оптимальный порог срабатывания — 0.8216.
Ограничения: разметка выполнялась одним аннотатором преимущественно на отзывах из магазинов приложений; эмодзи (например, ) токенизатор воспринимает как неизвестные токены.










Comments