Датасет · Overfit-GM
77,8 тысяч турецких текстов с разметкой токсичности
Overfit-GM/turkish-toxic-language
Объединенный корпус сообщений на турецком языке с бинарной разметкой оскорбительного контента для модерации.
Что внутри
Текстовый датасет на турецком языке включает 77 800 примеров, объединенных из нескольких открытых источников. Каждая запись размечена как оскорбительная или неоскорбительная, причем для полноты разметки авторы использовали ансамбль моделей-трансформеров для генерации псевдометок.
Что можно сделать
- Обучение классификаторов токсичности и фильтров модерации для турецкого языка
- Проверка безопасности генеративных моделей при работе с турецким текстом
- Задачи
- Классификация текста
- Языки
- Турецкий
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 195
- Лайков
- 36
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Overfit-GM/turkish-toxic-language")