Датасет · manu
Книги Project Gutenberg
manu/project_gutenberg
Более 70 тыс. свободных книг на нескольких языках для генерации текста.
Что внутри
Датасет собран из библиотеки Project Gutenberg — более 70 тыс. бесплатных электронных книг. Каждый пример соответствует одной книге и содержит служебный заголовок и футер между тегами *** Start of *** и *** End of ***. Доступны языковые сплиты, включая французский, английский, китайский, португальский, польский и нидерландский; данные можно загружать потоково.
Что можно сделать
- Дообучение языковой модели на длинных художественных текстах
- Обучение LoRA для генерации в стиле книг
- Оценка качества генерации на литературных текстах
- Задачи
- Генерация текста
- Языки
- Французский, Английский, Китайский, Португальский, Польский, Нидерландский, Русский, sv и ещё 3
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 154,8 тыс.
- Лайков
- 77
Модели, обученные на нём
- amd/AMD-Llama-135mГенерация текста 6,8 тыс.
- bartowski/YuLan-Mini-GGUFГенерация текста 1,4 тыс.
- QuantFactory/AMD-Llama-135m-code-GGUF 1,1 тыс.
- nkthebass/tinybrainbot-53m-a9m-hybrid-instructГенерация текста 1 тыс.
- QuantFactory/AMD-Llama-135m-GGUF 741
- nkthebass/tinybrainbot-25m-v5.1-baseГенерация текста 732
- mradermacher/AMD-Llama-135m-i1-GGUF 668
- mirth/chonky_mmbert_small_multilingual_1Разметка токенов 635
Как загрузить
from datasets import load_dataset
ds = load_dataset("manu/project_gutenberg")