Датасет · google
Комментарии из Википедии с разметкой на токсичность
google/jigsaw_toxicity_pred
Классический датасет от Google для классификации токсичного поведения в англоязычных текстах.
Что внутри
Внутри лежат тексты комментариев из Википедии на английском языке, размеченные людьми на предмет токсичности. Объём набора составляет от 100 тысяч до 1 миллиона записей.
Что можно сделать
- Обучение классификаторов для автоматической модерации комментариев
- Настройка фильтров безопасности (guardrails) для языковых моделей
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 35
Модели, обученные на нём
- s-nlp/roberta_toxicity_classifierКлассификация текста 60,2 тыс.
- garak-llm/roberta_toxicity_classifier 18,2 тыс.
- AssistantsLab/Tiny-Toxic-DetectorКлассификация текста 59
- s-nlp/roberta_first_toxicity_classifierКлассификация текста 39
- StrictlyInsecure/discord-moderation-minilmКлассификация текста 39
- StrictlyInsecure/discord-moderation-minilm-l12Классификация текста 22
- enguard/tiny-guard-4m-en-prompt-toxicity-binary-jigsawКлассификация текста 20
- enguard/medium-guard-128m-xx-prompt-toxicity-binary-jigsawКлассификация текста 17
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/jigsaw_toxicity_pred")