К содержимому

Датасет · dbarbedillo

Мультиязычная коллекция SMS для фильтрации спама

dbarbedillo/SMS_Spam_Multilingual_Collection_Dataset

Набор реальных и переведённых SMS-сообщений на нескольких языках с разметкой на спам и обычные письма.

Что внутри

В основе датасета лежит классическая коллекция из 5 574 англоязычных SMS-сообщений, размеченных как спам или обычные сообщения (ham). Тексты были переведены с помощью машинного перевода на хинди, немецкий, французский, испанский, китайский и арабский языки (в метаданных отмечены английский, китайский, испанский, хинди, французский и немецкий). Всего в наборе от 1 до 10 тысяч записей.

Что можно сделать

  • Обучение и проверка мультиязычных текстовых классификаторов для фильтрации спама
  • Сравнение качества классификации на оригинальных текстах и машинном переводе
Задачи
Классификация текста
Языки
Английский, Китайский, Испанский, Хинди, Французский, Немецкий, Арабский, bn и ещё 4
Размер
1K–10K записей
Скачиваний за месяц
396
Лайков
15

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("dbarbedillo/SMS_Spam_Multilingual_Collection_Dataset")