К содержимому

Датасет · ucberkeley-dlab

Размеченный корпус комментариев для детекции языка вражды

ucberkeley-dlab/measuring-hate-speech

39 565 англоязычных комментариев с оценками от 7 912 асессоров по 10 шкалам токсичности и языка вражды.

Что внутри

Таблично-текстовый датасет на английском языке, включающий 135 556 строк разметки для 39 565 уникальных комментариев, оцененных 7 912 разметчиками. Помимо итогового индекса языка вражды, каждый пример оценен по 10 порядковым шкалам, включая оскорбления, унижение, дегуманизацию, призывы к насилию и тональность.

Что можно сделать

  • Обучение многокритериальных классификаторов токсичности и модерации контента
  • Исследование субъективности и согласованности разметки при оценке языка вражды
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
9,3 тыс.
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ucberkeley-dlab/measuring-hate-speech")