Датасет · sedthh
Англоязычные книги из Project Gutenberg
sedthh/gutenberg_english
Коллекция из 48 284 книг на английском языке из Project Gutenberg, подготовленная для обучения генеративных моделей.
Что внутри
Датасет содержит 48 284 строки с текстами англоязычных электронных книг с сайта Project Gutenberg (более 80% всех книг на этом языке из библиотеки). Исходные метаданные из текста вырезаны и вынесены в отдельную колонку METADATA в виде сериализованного JSON. Корпус изначально собирался для проекта OpenAssistant.
Что можно сделать
- Предобучение (pretrain) и дообучение языковых моделей на длинных связных текстах
- Обучение моделей генерации художественной литературы и стилистических LoRA
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 35,4 тыс.
- Лайков
- 41
Модели, обученные на нём
- vrishv/Viveka-34MГенерация текста 1,4 тыс.
- mradermacher/Apex-2-Base-i1-GGUF 1,4 тыс.
- vrishv/Shodhana-34MГенерация текста 1,2 тыс.
- episod/tt-tnt-1024Генерация текста 741
- episod/tt-tntГенерация текста 721
- mradermacher/Chochmah1B-GGUF 598
- mradermacher/Apex-2-Base-GGUF 444
- YOON1v/Apex-2-BaseГенерация текста 160
Как загрузить
from datasets import load_dataset
ds = load_dataset("sedthh/gutenberg_english")