К содержимому

Датасет · emily9589

Корпус книг до 1919 года для длинного контекста (PG-19)

emily9589/sn38-r18-2011-raw-pg19

Копия бенчмарка PG-19 на базе книг Project Gutenberg для обучения и оценки языковых моделей на длинных текстах.

Что внутри

Репозиторий содержит текстовый корпус PG-19 (объём от 100M до 1B записей), собранный из книг библиотеки Project Gutenberg, опубликованных до 1919 года, вместе с метаданными о названиях и датах публикации. Документы в наборе в среднем в 20 раз длиннее, чем в бенчмарке WikiText, а общий объём более чем вдвое превышает Billion Word.

Что можно сделать

  • Оценка способности языковых моделей удерживать сверхдлинный контекст (long-range language modeling)
  • Предобучение или дообучение текстовых моделей на классической англоязычной литературе
Размер
100M–1B записей
Скачиваний за месяц
31,5 тыс.
Лайков
0
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("emily9589/sn38-r18-2011-raw-pg19")