К содержимому

Датасет · FredZhang7

Мультиязычный датасет токсичных комментариев

FredZhang7/toxi-text-3M

Около 3 млн текстов от реальных людей на 55 языках с разметкой на токсичность для обучения и проверки фильтров модерации.

Что внутри

Внутри собраны комментарии, твиты и сообщения, написанные живыми людьми без использования машинного перевода, на 55 языках (включая арабский, испанский, французский, тайский и другие). В предобработанной обучающей части 2 880 667 строк в формате CSV, из которых 416 529 размечены как токсичные, а 2 463 773 — как нейтральные.

Что можно сделать

  • Обучение мультиязычных классификаторов токсичности для автоматической модерации соцсетей и чатов
  • Дообучение языковых моделей и LoRA-адаптеров для фильтрации нежелательного контента
  • Оценка качества zero-shot-классификаторов на редких языках
Задачи
Классификация текста, Zero-shot классификация
Языки
Арабский, Испанский, pa, Тайский, et, Французский, fi, hu и ещё 4
Размер
1M–10M записей
Скачиваний за месяц
717
Лайков
32

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("FredZhang7/toxi-text-3M")