Датасет · omarkamali
Wikipedia Monthly: ежемесячные дампы Википедии
omarkamali/wikipedia-monthly
Ежемесячные многоязычные дампы Википедии, подготовленные для загрузки через datasets в NLP-проектах.
Что внутри
Это текстовые дампы Википедии по месяцам на сотнях языков, обработанные для использования в NLP. В текущем экспорте (октябрь 2026) — 348 языков и 66,8 млн статей; всего в архиве 363 языка и 333,7 млн статей. Загружать можно одну языковую версию одной строкой кода через datasets; latest указывает на свежий дамп.
Что можно сделать
- Предобучение и дообучение многоязычных LLM
- LoRA для генерации текста на редких языках
- Проверка знаний и токсичности на вики-текстах
- Задачи
- Генерация текста
- Языки
- ab, ace, ady, af, ak, als, alt, am и ещё 4
- Скачиваний за месяц
- 21,6 тыс.
- Лайков
- 88
Модели, обученные на нём
- khtsly/Nalu-1.0-BaseГенерация текста 150
- JohnMarble/vi-en-glm 41
- owenqwenllmwine/t-nano-16.6.26Генерация текста 23
- uisikdag/qwen3-14b-tr-wiki-monthly-qloraГенерация текста 22
- rocky1410/haipai-nanoГенерация текста 21
- AhmetSemih/merged_dataset-32k-bpe-tokenizer 0
- wikilangs/aryГенерация текста 0
- wikilangs/abГенерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("omarkamali/wikipedia-monthly")