Датасет · open-index
Очищенная Википедия всех языков в формате Markdown
open-index/open-wikipedia-markdown
Статьи из всех языковых разделов Википедии, очищенные от разметки MediaWiki и переведенные в чистый Markdown.
Что внутри
Датасет объединяет статьи из различных языковых разделов Википедии (включая редкие языки), сконвертированные из исходных дампов Wikimedia в формат Markdown. В текстах сохранены заголовки, выделение шрифтом, блоки кода и внутренние ссылки, а служебные шаблоны, инфобоксы, таблицы и категории удалены. Объем корпуса составляет от 10 до 100 миллионов документов.
Что можно сделать
- Предобучение и дообучение языковых моделей на чистых энциклопедических текстах
- Создание баз знаний для RAG-систем и обучение моделей на редких языках
- Задачи
- Генерация текста, Эмбеддинги, Классификация текста, Вопрос-ответ, Суммаризация, Перевод
- Языки
- bh, ho, kge, mwl, tcy, za, zea, Персидский и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 23
Модели, обученные на нём
- hudsongouge/AOMTS-Base-100M-3k-1MTP-Cosine-v1Генерация текста 21
- hudsongouge/AOMTS-TST-s6-100M-3k-2MTP-v1Генерация текста 20
- hudsongouge/Chinchilla-300M-FFN-SwigluГенерация текста 19
- hudsongouge/AOMTS-Base-100M-3k-0MTP-v1-run2Генерация текста 17
- hudsongouge/AOMTS-Base-100M-3k-2MTP-v1Генерация текста 17
- hudsongouge/Chinchilla-300M-FFN-ConvSwiGLUГенерация текста 17
- hudsongouge/rrt-40m-wiki-v1Генерация текста 16
- hudsongouge/rrt-40m-wiki-v1-alt 16
Как загрузить
from datasets import load_dataset
ds = load_dataset("open-index/open-wikipedia-markdown")