К содержимому

Датасет · manu

Книги Project Gutenberg

manu/project_gutenberg

Более 70 тыс. свободных книг на нескольких языках для генерации текста.

Что внутри

Датасет собран из библиотеки Project Gutenberg — более 70 тыс. бесплатных электронных книг. Каждый пример соответствует одной книге и содержит служебный заголовок и футер между тегами *** Start of *** и *** End of ***. Доступны языковые сплиты, включая французский, английский, китайский, португальский, польский и нидерландский; данные можно загружать потоково.

Что можно сделать

  • Дообучение языковой модели на длинных художественных текстах
  • Обучение LoRA для генерации в стиле книг
  • Оценка качества генерации на литературных текстах
Задачи
Генерация текста
Языки
Французский, Английский, Китайский, Португальский, Польский, Нидерландский, Русский, sv и ещё 3
Размер
10K–100K записей
Скачиваний за месяц
154,8 тыс.
Лайков
77

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("manu/project_gutenberg")