К содержимому

Датасет · storytracer

Оцифрованные книги из Библиотеки Конгресса США

storytracer/LoC-PD-Books

Огромный корпус из более чем 140 тысяч англоязычных книг в общественном достоянии с OCR-текстами.

Что внутри

Датасет содержит свыше 140 тысяч оцифрованных книг на английском языке (около 8 миллиардов слов), находящихся в общественном достоянии в США. Материалы собраны через JSON API Библиотеки Конгресса (Library of Congress) путём фильтрации коллекции Selected Digitized Books и содержат распознанные OCR-тексты. В метаданных указаны текстовая и табличная модальности, формат файлов не уточняется.

Что можно сделать

  • Предобучение (pre-training) или продолжение обучения больших языковых моделей на длинных текстах
  • Обучение моделей работе с историческим английским языком и литературным стилем
  • Исследования в области цифровой гуманитаристики и постобработки OCR-ошибок
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
1,6 тыс.
Лайков
44

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("storytracer/LoC-PD-Books")