Датасет · wikimedia
Википедия на всех языках
wikimedia/wikipedia
Очищенные статьи Википедии на множестве языков, по одному train-сплиту на язык.
Что внутри
Датасет собран из дампов Википедии и содержит очищенные полные статьи на всех языках; для каждого языка отдельный subset с одним train split. Тексты очищены от markdown и нежелательных разделов вроде ссылок и обработаны по свежим дампам. Размер 10M–100M; в метаданных перечислены многие языки, включая ab, ace, ady.
Что можно сделать
- Предобучение многоязычной LLM
- Обучение language modeling
- Задача fill-mask
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- ab, ace, ady, af, alt, am, ami, an и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 322,1 тыс.
- Лайков
- 1,7 тыс.
Модели, обученные на нём
- deepvk/USER2-baseПохожесть текстов 1,1 млн
- neuralcrew/neutrino-instructГенерация текста 29,5 тыс.
- deepvk/USER2-smallПохожесть текстов 12 тыс.
- JustANormalTinkerer/hayai-ocr-v2.5-novaКартинка → текст 4,8 тыс.
- mradermacher/zorka-vieniera-12b-i1-GGUF 4,6 тыс.
- almanach/camembertav2-baseЭмбеддинги 4,1 тыс.
- Asilarkness/DiffuRefill-1BГенерация текста 3,5 тыс.
- MatterWaveAI/grt-30mГенерация текста 2,4 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("wikimedia/wikipedia")