К содержимому

Датасет · common-pile

Англоязычные книги в общественном достоянии из Project Gutenberg

common-pile/project_gutenberg

Десятки тысяч оцифрованных книг на английском языке из общественного достояния для предобучения генеративных моделей.

Что внутри

Коллекция объединяет оцифрованные тексты книг из онлайн-библиотеки Project Gutenberg на английском языке, находящиеся в общественном достоянии (Public Domain), а также книги старше 100 лет из набора PG19. Всего в корпусе от 10 до 100 тысяч документов (исходная библиотека насчитывает более 75 000 книг). К текстам применена минимальная предобработка для удаления стандартных заголовков и колонтитулов Project Gutenberg.

Что можно сделать

  • Предобучение генеративных языковых моделей на длинных связных художественных и публицистических текстах
  • Тестирование моделей на работу с длинным контекстом
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
7,8 тыс.
Лайков
6

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("common-pile/project_gutenberg")