К содержимому

Датасет · google

Комментарии из Википедии с разметкой на токсичность

google/jigsaw_toxicity_pred

Классический датасет от Google для классификации токсичного поведения в англоязычных текстах.

Что внутри

Внутри лежат тексты комментариев из Википедии на английском языке, размеченные людьми на предмет токсичности. Объём набора составляет от 100 тысяч до 1 миллиона записей.

Что можно сделать

  • Обучение классификаторов для автоматической модерации комментариев
  • Настройка фильтров безопасности (guardrails) для языковых моделей
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
1,1 тыс.
Лайков
35

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/jigsaw_toxicity_pred")