Датасет · FredZhang7
Мультиязычный датасет токсичных комментариев
FredZhang7/toxi-text-3M
Около 3 млн текстов от реальных людей на 55 языках с разметкой на токсичность для обучения и проверки фильтров модерации.
Что внутри
Внутри собраны комментарии, твиты и сообщения, написанные живыми людьми без использования машинного перевода, на 55 языках (включая арабский, испанский, французский, тайский и другие). В предобработанной обучающей части 2 880 667 строк в формате CSV, из которых 416 529 размечены как токсичные, а 2 463 773 — как нейтральные.
Что можно сделать
- Обучение мультиязычных классификаторов токсичности для автоматической модерации соцсетей и чатов
- Дообучение языковых моделей и LoRA-адаптеров для фильтрации нежелательного контента
- Оценка качества zero-shot-классификаторов на редких языках
- Задачи
- Классификация текста, Zero-shot классификация
- Языки
- Арабский, Испанский, pa, Тайский, et, Французский, fi, hu и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 717
- Лайков
- 32
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("FredZhang7/toxi-text-3M")