Датасет · storytracer
Оцифрованные книги из Библиотеки Конгресса США
storytracer/LoC-PD-Books
Огромный корпус из более чем 140 тысяч англоязычных книг в общественном достоянии с OCR-текстами.
Что внутри
Датасет содержит свыше 140 тысяч оцифрованных книг на английском языке (около 8 миллиардов слов), находящихся в общественном достоянии в США. Материалы собраны через JSON API Библиотеки Конгресса (Library of Congress) путём фильтрации коллекции Selected Digitized Books и содержат распознанные OCR-тексты. В метаданных указаны текстовая и табличная модальности, формат файлов не уточняется.
Что можно сделать
- Предобучение (pre-training) или продолжение обучения больших языковых моделей на длинных текстах
- Обучение моделей работе с историческим английским языком и литературным стилем
- Исследования в области цифровой гуманитаристики и постобработки OCR-ошибок
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,6 тыс.
- Лайков
- 44
Модели, обученные на нём
- bartowski/YuLan-Mini-GGUFГенерация текста 1,4 тыс.
- diskrot/YuLan-Mini-diskrotГенерация текста 630
- ikarth/openpd-gpt2-v0Генерация текста 618
- tensorblock/YuLan-Mini-GGUFГенерация текста 365
- mradermacher/YuLan-Mini-GGUF 362
- diskrot/YuLan-Mini-GGUF-diskrotГенерация текста 352
- QuantFactory/YuLan-Mini-GGUFГенерация текста 299
- ikarth/openpd-gpt2-v1Генерация текста 121
Как загрузить
from datasets import load_dataset
ds = load_dataset("storytracer/LoC-PD-Books")