Датасет · Skylion007
Открытая реплика WebText для обучения GPT-2
Skylion007/openwebtext
Открытая копия WebText от OpenAI на английском — датасет, использованный для обучения GPT-2.
Что внутри
OpenWebText — открытая реплика датасета WebText от OpenAI, на котором обучали GPT-2. Создан Aaron Gokaslan и Vanya Cohen из Brown University. Содержит английские тексты; размер — от 1M до 10M примеров. В карточке указаны задачи text-generation и fill-mask.
Что можно сделать
- Предобучение небольших языковых моделей
- Fine-tuning для генерации текста
- Проверка fill-mask моделей
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 41,9 тыс.
- Лайков
- 552
Модели, обученные на нём
- erwanf/gpt2-miniГенерация текста 305,5 тыс.
- kuleshov-group/mdlm-owtЗаполнение пропусков 13,9 тыс.
- Continuous-Rivals-Discrete/langflow-owtГенерация текста 1,9 тыс.
- Felladrin/Minueza-32M-BaseГенерация текста 1,1 тыс.
- afrideva/TinyMistral-248M-GGUFГенерация текста 1,1 тыс.
- Locutusque/TinyMistral-248M-v2Генерация текста 817
- dimitarpg13/semsimula-ladder-owt-d384-l2-gpt2-matchedГенерация текста 805
- dimitarpg13/semsimula-ladder-live-owt-d384-l2-none-norc-pm2-pmx16-sr2-fobГенерация текста 804
Как загрузить
from datasets import load_dataset
ds = load_dataset("Skylion007/openwebtext")