К содержимому

Датасет · textdetox

Многоязычный датасет для детекции токсичности (включая русский)

textdetox/multilingual_toxicity_dataset

Сбалансированный корпус текстов на более чем десяти языках для обучения и оценки классификаторов токсичности.

Что внутри

Датасет предназначен для бинарной классификации токсичности и подготовлен для соревнований TextDetox 2024 и 2025 годов. В нем от 10 до 100 тысяч текстов на русском, английском, украинском, немецком, испанском, итальянском, французском, японском, татарском и других языках. Для каждого языка из версии 2024 года собрано по 5 тысяч сбалансированных примеров (поровну токсичных и нетоксичных).

Что можно сделать

  • Обучение многоязычных и русскоязычных классификаторов модерации контента
  • Создание фильтров безопасности для пользовательских запросов и ответов LLM
  • Тестирование моделей детекции токсичности на сбалансированном бенчмарке
Задачи
Классификация текста
Языки
Английский, Русский, Украинский, Немецкий, Испанский, am, Китайский, Арабский и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
1,4 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("textdetox/multilingual_toxicity_dataset")