К содержимому

Датасет · sedthh

Англоязычные книги из Project Gutenberg

sedthh/gutenberg_english

Коллекция из 48 284 книг на английском языке из Project Gutenberg, подготовленная для обучения генеративных моделей.

Что внутри

Датасет содержит 48 284 строки с текстами англоязычных электронных книг с сайта Project Gutenberg (более 80% всех книг на этом языке из библиотеки). Исходные метаданные из текста вырезаны и вынесены в отдельную колонку METADATA в виде сериализованного JSON. Корпус изначально собирался для проекта OpenAssistant.

Что можно сделать

  • Предобучение (pretrain) и дообучение языковых моделей на длинных связных текстах
  • Обучение моделей генерации художественной литературы и стилистических LoRA
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
35,4 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("sedthh/gutenberg_english")