Датасет · institutional
983 тыс. оцифрованных книг из библиотеки Гарварда
institutional/institutional-books-hl
Почти миллион книг в общественном достоянии из проекта Google Books — 242 млрд токенов текста.
Что внутри
Корпус из 983 004 книг в общественном достоянии, оцифрованных в рамках участия Гарвардской библиотеки в проекте Google Books и доработанных Institutional Data Initiative. Книги изданы в основном в XIX–XX веках: 386 млн страниц текста и около 242 млрд токенов в токенизации o200k_base. Доступ регулируется условиями раннего доступа IDI.
Что можно сделать
- Предобучение или дообучение языковой модели на книгах
- Обучение LoRA под исторические тексты XIX–XX веков
- Исследования лексики и стиля книжного корпуса
- Скачиваний за месяц
- 9,5 тыс.
- Лайков
- 307
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("institutional/institutional-books-hl")