К содержимому

Датасет · EleutherAI

Статьи Википедии целиком на уровне документов

EleutherAI/wikitext_document_level

Модифицированная версия классического корпуса WikiText, где тексты сгруппированы по целым страницам.

Что внутри

Текстовый датасет объёмом более 100 миллионов токенов (от 10 до 100 тысяч записей), извлечённых из проверенных избранных и хороших статей Википедии. В отличие от оригинального WikiText, разбитого построчно, эта версия возвращает статьи целиком на уровне документов. Распространяется по лицензии Creative Commons.

Что можно сделать

  • Обучение и оценка языковых моделей на длинном контексте (document-level)
  • Подсчёт перплексии (perplexity) и классический бенчмаркинг моделей генерации текста
Размер
10K–100K записей
Скачиваний за месяц
106,1 тыс.
Лайков
28

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("EleutherAI/wikitext_document_level")