Датасет · legacy-datasets
Чистые статьи Википедии на всех языках
legacy-datasets/wikipedia
Полные статьи Википедии, очищенные от разметки и лишних разделов, по одному сплиту на язык.
Что внутри
Датасет собран из дампов Википедии. В каждом примере — полный текст одной статьи, очищенный от markdown и нежелательных разделов вроде ссылок. Данные разбиты по языкам, по одному сплиту на язык.
Что можно сделать
- Дообучение многоязычных языковых моделей на чистых текстах
- Проверка fill-mask на разных языках
- Оценка качества генерации на статьях Википедии
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- aa, ab, ace, af, ak, als, am, an и ещё 4
- Размер
- до 1K записей
- Скачиваний за месяц
- 37,7 тыс.
- Лайков
- 688
Модели, обученные на нём
- mradermacher/Tesser-Llama-3-Ko-8B-GGUF 450
- goldfish-models/pan_guru_5mbГенерация текста 187
- goldfish-models/fij_latn_5mbГенерация текста 178
- goldfish-models/lug_latn_10mbГенерация текста 104
- Kimargin/GPT-NEO-1.3B-wikiГенерация текста 77
- goldfish-models/isl_latn_1000mbГенерация текста 41
- goldfish-models/mlt_latn_1000mbГенерация текста 35
- goldfish-models/isl_latn_100mbГенерация текста 31
Как загрузить
from datasets import load_dataset
ds = load_dataset("legacy-datasets/wikipedia")