К содержимому

Датасет · Overfit-GM

77,8 тысяч турецких текстов с разметкой токсичности

Overfit-GM/turkish-toxic-language

Объединенный корпус сообщений на турецком языке с бинарной разметкой оскорбительного контента для модерации.

Что внутри

Текстовый датасет на турецком языке включает 77 800 примеров, объединенных из нескольких открытых источников. Каждая запись размечена как оскорбительная или неоскорбительная, причем для полноты разметки авторы использовали ансамбль моделей-трансформеров для генерации псевдометок.

Что можно сделать

  • Обучение классификаторов токсичности и фильтров модерации для турецкого языка
  • Проверка безопасности генеративных моделей при работе с турецким текстом
Задачи
Классификация текста
Языки
Турецкий
Размер
10K–100K записей
Скачиваний за месяц
195
Лайков
36

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Overfit-GM/turkish-toxic-language")