Датасет · EleutherAI
Статьи Википедии целиком на уровне документов
EleutherAI/wikitext_document_level
Модифицированная версия классического корпуса WikiText, где тексты сгруппированы по целым страницам.
Что внутри
Текстовый датасет объёмом более 100 миллионов токенов (от 10 до 100 тысяч записей), извлечённых из проверенных избранных и хороших статей Википедии. В отличие от оригинального WikiText, разбитого построчно, эта версия возвращает статьи целиком на уровне документов. Распространяется по лицензии Creative Commons.
Что можно сделать
- Обучение и оценка языковых моделей на длинном контексте (document-level)
- Подсчёт перплексии (perplexity) и классический бенчмаркинг моделей генерации текста
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 106,1 тыс.
- Лайков
- 28
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("EleutherAI/wikitext_document_level")