Датасет · defunct-datasets
Books3: книжный корпус
defunct-datasets/the_pile_books3
Около 197 тыс. английских книг в .txt из Bibliotik для обучения и проверки языковых моделей.
Что внутри
Англоязычный книжный корпус: около 197 тыс. книг из Bibliotik в простых .txt. Это часть The Pile от Шона Прессора; обработка такая же, как в BookCorpusOpen. Карточка отмечает сходство с OpenAI books2, но подчёркивает, что детали неизвестны.
Что можно сделать
- Предобучение GPT-подобной LM на книгах
- Заполнение пропусков/fill-mask
- Оценка языкового моделирования на длинных текстах
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 309
- Лайков
- 156
Как загрузить
from datasets import load_dataset
ds = load_dataset("defunct-datasets/the_pile_books3")