Датасет · tdavidson
Англоязычные твиты с разметкой хейтспича и оскорблений
tdavidson/hate_speech_offensive
Классификационный датасет твитов на английском языке, размеченных на язык вражды, оскорбления и нейтральный текст.
Что внутри
Внутри собраны тексты твитов на английском языке и голоса аннотаторов по трем категориям: язык вражды (hate speech), оскорбления и нейтральные сообщения. Размер набора составляет от 10 до 100 тысяч записей, представленных в табличном и текстовом форматах с итоговой меткой класса.
Что можно сделать
- Обучение или дообучение классификатора токсичности и модерации контента (например, на базе BERT или RoBERTa)
- Оценка качества фильтров безопасности для англоязычных чат-ботов и соцсетей
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 42
Модели, обученные на нём
- samratduttaofficial/WaterSheepZero-shot классификация 81
- AuricErgeson/hate-speech-detectorКлассификация текста 45
- ITLL/WaterSheepZero-shot классификация 33
- Prat-04/hate-speech-distilbertКлассификация текста 21
- marcoorasch/llama-3.2-3B-instruct-hatespeech-offensive-classificationГенерация текста 7
- Yash22CSU192/davidson-roberta-hatespeechКлассификация текста 7
- kmrarpit2704/hs-roberta-v2-onnxКлассификация текста 7
- davidschulte/ESM_tdavidson__hate_speech_offensive_default 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("tdavidson/hate_speech_offensive")