К содержимому

Датасет · FredZhang7

Мультиязычный корпус спама и мошеннических писем

FredZhang7/all-scam-spam

Более 42 тысяч писем и сообщений на 43 языках с бинарной разметкой спама для обучения антиспам-фильтров.

Что внутри

В наборе собрано 42 619 предобработанных текстовых сообщений и электронных писем на 43 языках с меткой спама (is_spam=1 или 0). Часть данных из 1 040 сбалансированных строк (обычные переписки и скам-письма примерно на 10 языках) автор собрал и разметил вручную с помощью ChatGPT, а остальное обработано скриптами на базе корпусов SpamAssassin и Enron.

Что можно сделать

  • Обучение многоязычных классификаторов спама и фишинговых рассылок
  • Проверка моделей в режиме zero-shot классификации на редких языках
  • Фильтрация входящих сообщений и писем в почтовых клиентах и мессенджерах
Задачи
Классификация текста, Zero-shot классификация
Языки
no, Испанский, so, ca, af, Итальянский, Нидерландский, Хинди и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
511
Лайков
16

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("FredZhang7/all-scam-spam")