Датасет · ucberkeley-dlab
Размеченный корпус комментариев для детекции языка вражды
ucberkeley-dlab/measuring-hate-speech
39 565 англоязычных комментариев с оценками от 7 912 асессоров по 10 шкалам токсичности и языка вражды.
Что внутри
Таблично-текстовый датасет на английском языке, включающий 135 556 строк разметки для 39 565 уникальных комментариев, оцененных 7 912 разметчиками. Помимо итогового индекса языка вражды, каждый пример оценен по 10 порядковым шкалам, включая оскорбления, унижение, дегуманизацию, призывы к насилию и тональность.
Что можно сделать
- Обучение многокритериальных классификаторов токсичности и модерации контента
- Исследование субъективности и согласованности разметки при оценке языка вражды
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 9,3 тыс.
- Лайков
- 56
Модели, обученные на нём
- StrandsAgents/strands-decider-2B-qwen3.5-v1-2610Классификация текста 25 тыс.
- StrandsAgents/strands-decider-2B-hobson-v21Классификация текста 15,3 тыс.
- StrandsAgents/strands-decider-2B-hobson-v19Классификация текста 7 тыс.
- dmis-lab/UltraBERT-Embed-150MПохожесть текстов 1,4 тыс.
- mradermacher/elf-1-12b-GGUF 753
- mradermacher/elf-1-31b-GGUF 721
- amazon/strands-decider-2B-qwen3.5-v1-2610Классификация текста 199
- LatentAILabs/yama-indicZero-shot классификация 171
Как загрузить
from datasets import load_dataset
ds = load_dataset("ucberkeley-dlab/measuring-hate-speech")