Датасет · textdetox
Многоязычный датасет для детекции токсичности (включая русский)
textdetox/multilingual_toxicity_dataset
Сбалансированный корпус текстов на более чем десяти языках для обучения и оценки классификаторов токсичности.
Что внутри
Датасет предназначен для бинарной классификации токсичности и подготовлен для соревнований TextDetox 2024 и 2025 годов. В нем от 10 до 100 тысяч текстов на русском, английском, украинском, немецком, испанском, итальянском, французском, японском, татарском и других языках. Для каждого языка из версии 2024 года собрано по 5 тысяч сбалансированных примеров (поровну токсичных и нетоксичных).
Что можно сделать
- Обучение многоязычных и русскоязычных классификаторов модерации контента
- Создание фильтров безопасности для пользовательских запросов и ответов LLM
- Тестирование моделей детекции токсичности на сбалансированном бенчмарке
- Задачи
- Классификация текста
- Языки
- Английский, Русский, Украинский, Немецкий, Испанский, am, Китайский, Арабский и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 38
Модели, обученные на нём
- textdetox/bert-multilingual-toxicity-classifierКлассификация текста 27,3 тыс.
- textdetox/xlmr-large-toxicity-classifier-v2Классификация текста 7,9 тыс.
- textdetox/twitter-xlmr-toxicity-classifierКлассификация текста 7,7 тыс.
- textdetox/xlmr-large-toxicity-classifierКлассификация текста 1,8 тыс.
- OperKH/twitter-xlmr-toxicity-classifier-ONNXКлассификация текста 195
- malexandersalazar/xlm-roberta-large-binary-cls-toxicityКлассификация текста 162
- textdetox/glot500-toxicity-classifierКлассификация текста 145
- textdetox/xlmr-base-toxicity-classifierКлассификация текста 93
Как загрузить
from datasets import load_dataset
ds = load_dataset("textdetox/multilingual_toxicity_dataset")