К содержимому

Датасет · tdavidson

Англоязычные твиты с разметкой хейтспича и оскорблений

tdavidson/hate_speech_offensive

Классификационный датасет твитов на английском языке, размеченных на язык вражды, оскорбления и нейтральный текст.

Что внутри

Внутри собраны тексты твитов на английском языке и голоса аннотаторов по трем категориям: язык вражды (hate speech), оскорбления и нейтральные сообщения. Размер набора составляет от 10 до 100 тысяч записей, представленных в табличном и текстовом форматах с итоговой меткой класса.

Что можно сделать

  • Обучение или дообучение классификатора токсичности и модерации контента (например, на базе BERT или RoBERTa)
  • Оценка качества фильтров безопасности для англоязычных чат-ботов и соцсетей
Задачи
Классификация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
2,9 тыс.
Лайков
42

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tdavidson/hate_speech_offensive")