Датасет · emily9589
Корпус книг до 1919 года для длинного контекста (PG-19)
emily9589/sn38-r18-2011-raw-pg19
Копия бенчмарка PG-19 на базе книг Project Gutenberg для обучения и оценки языковых моделей на длинных текстах.
Что внутри
Репозиторий содержит текстовый корпус PG-19 (объём от 100M до 1B записей), собранный из книг библиотеки Project Gutenberg, опубликованных до 1919 года, вместе с метаданными о названиях и датах публикации. Документы в наборе в среднем в 20 раз длиннее, чем в бенчмарке WikiText, а общий объём более чем вдвое превышает Billion Word.
Что можно сделать
- Оценка способности языковых моделей удерживать сверхдлинный контекст (long-range language modeling)
- Предобучение или дообучение текстовых моделей на классической англоязычной литературе
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 31,5 тыс.
- Лайков
- 0
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("emily9589/sn38-r18-2011-raw-pg19")