Датасет · Salesforce
WikiText: тексты Википедии для языкового моделирования
Salesforce/wikitext
Корпус проверенных статей Википедии на английском для обучения и оценки языковых моделей.
Что внутри
Датасет содержит более 100 млн токенов из избранных и хороших статей английской Википедии. Это тексты на английском, собранные из Wikipedia и доступные по лицензии CC BY-SA. Версии WikiText-2 и WikiText-103 заметно больше предобработанного Penn Treebank. Формат — текстовые данные для задач text-generation и fill-mask.
Что можно сделать
- Обучить GPT-подобную модель для language modeling
- Проверить fill-mask на английском
- Оценить перплексию языковых моделей
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,2 млн
- Лайков
- 861
Модели, обученные на нём
- nicklas373/Qwen3.5-9B-AWQКартинка + текст 11,2 тыс.
- nicklas373/Huihui-gemma-4-12B-it-abliterated-AWQКартинка + текст 7,1 тыс.
- bayliner1980/Qwen3.5-0.8B-MoE-A0.6B-GGUFГенерация текста 1,3 тыс.
- anwgpt/anwgpt4-baseГенерация текста 935
- mradermacher/Xyntetik-Kvist-14B-i1-GGUF 879
- TahiraAbbas/gpt2-wikitextГенерация текста 703
- sbartlett97/sot-phase2-wikitext103-heuristic-seed42-tc768d013-v8-tailfreezeГенерация текста 638
- sbartlett97/sot-phase2-wikitext103-heuristic-seed42-tc768d013-v7-lrfreezeГенерация текста 619
Как загрузить
from datasets import load_dataset
ds = load_dataset("Salesforce/wikitext")