Датасет · graelo
Чистые статьи Википедии на всех языках
graelo/wikipedia
Очищенные полные статьи Википедии на множестве языков, по одному сплиту на язык.
Что внутри
Датасет собран из дампов Википедии и содержит очищенные полные статьи на всех языках. Из текста удалены markdown и нежелательные разделы вроде ссылок и примечаний. Каждый пример — одна статья; объём от 100M до 1B примеров, языков много.
Что можно сделать
- Предобучение и дообучение многоязычных языковых моделей
- Fill-mask и language modeling для редких языков
- Оценка качества очистки и токенизации на Wikipedia
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- ab, ace, ady, af, ak, als, alt, am и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 72
Модели, обученные на нём
- mradermacher/Starstreak-7b-alpha-i1-GGUF 1,1 тыс.
- mradermacher/Starstreak-7b-alpha-GGUF 392
- tensorblock/lightblue_karasu-7B-GGUF 63
- azale-ai/Starstreak-7b-alphaГенерация текста 40
- KennethTM/bert-base-uncased-danishЗаполнение пропусков 37
- azale-ai/Starstreak-7b-betaГенерация текста 28
- lightblue/karasu-7BГенерация текста 26
- Amal17/wikipedia-20230601.aceГенерация текста 14
Как загрузить
from datasets import load_dataset
ds = load_dataset("graelo/wikipedia")