К содержимому

Датасет · lesserfield

Архив постов с имиджборда 4chan

lesserfield/4chan-datasets

Текстовый корпус сообщений с 4chan на английском для генерации текста и анализа интернет-сленга.

Что внутри

Внутри лежат текстовые выгрузки сообщений с различных разделов имиджборда 4chan на английском языке. Часть разделов удалена, так как они уже есть в публичном архиве 4plebs. Данные представлены в текстовом формате, а инструкция по конвертации в JSON или CSV находится в репозитории.

Что можно сделать

  • Обучение языковых моделей пониманию интернет-сленга и неформальной речи
  • Тренировка классификаторов токсичности и модерации контента
Задачи
Генерация текста
Языки
Английский
Скачиваний за месяц
2,6 тыс.
Лайков
34

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("lesserfield/4chan-datasets")