Датасет · lesserfield
Архив постов с имиджборда 4chan
lesserfield/4chan-datasets
Текстовый корпус сообщений с 4chan на английском для генерации текста и анализа интернет-сленга.
Что внутри
Внутри лежат текстовые выгрузки сообщений с различных разделов имиджборда 4chan на английском языке. Часть разделов удалена, так как они уже есть в публичном архиве 4plebs. Данные представлены в текстовом формате, а инструкция по конвертации в JSON или CSV находится в репозитории.
Что можно сделать
- Обучение языковых моделей пониманию интернет-сленга и неформальной речи
- Тренировка классификаторов токсичности и модерации контента
- Задачи
- Генерация текста
- Языки
- Английский
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 34
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("lesserfield/4chan-datasets")