Датасет · common-pile
Англоязычные книги в общественном достоянии из Project Gutenberg
common-pile/project_gutenberg
Десятки тысяч оцифрованных книг на английском языке из общественного достояния для предобучения генеративных моделей.
Что внутри
Коллекция объединяет оцифрованные тексты книг из онлайн-библиотеки Project Gutenberg на английском языке, находящиеся в общественном достоянии (Public Domain), а также книги старше 100 лет из набора PG19. Всего в корпусе от 10 до 100 тысяч документов (исходная библиотека насчитывает более 75 000 книг). К текстам применена минимальная предобработка для удаления стандартных заголовков и колонтитулов Project Gutenberg.
Что можно сделать
- Предобучение генеративных языковых моделей на длинных связных художественных и публицистических текстах
- Тестирование моделей на работу с длинным контекстом
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 7,8 тыс.
- Лайков
- 6
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("common-pile/project_gutenberg")