Датасет · wikimedia
Структурированные статьи Википедии EN/FR
wikimedia/structured-wikipedia
Предварительно разобранные статьи английской и французской Википедии в структурированном виде.
Что внутри
Это предварительно разобранные статьи английской и французской Википедии, полученные через Wikimedia Enterprise Snapshot API. Внутри — статьи этих языковых разделов в структурированном виде. Формат — структурированные данные.
Что можно сделать
- Обучение и дообучение языковых моделей на энциклопедических текстах
- Построение поиска и QA по Википедии
- Извлечение фактов для RAG-систем
- Языки
- Английский, Французский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 9,2 тыс.
- Лайков
- 408
Модели, обученные на нём
- marekzel/mz-model-v1Генерация текста 811
- mradermacher/Atomight-V2.1-Wiki-3K-GGUF 212
- GlassLewis/roberta-large-entity-linkingПохожесть текстов 67
- NovatasticRoScript/Atomight-V2.1-Wiki-3KГенерация текста 21
- bainskarman/WikiClassificationКлассификация текста 12
- helloadhavan/llara2-100M-base 12
- Qwest/Space_OlegГенерация текста 9
- BleuHydr4nge4/Red.Whimsy_SweetГенерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("wikimedia/structured-wikipedia")