К содержимому

Датасет · open-index

Очищенная Википедия всех языков в формате Markdown

open-index/open-wikipedia-markdown

Статьи из всех языковых разделов Википедии, очищенные от разметки MediaWiki и переведенные в чистый Markdown.

Что внутри

Датасет объединяет статьи из различных языковых разделов Википедии (включая редкие языки), сконвертированные из исходных дампов Wikimedia в формат Markdown. В текстах сохранены заголовки, выделение шрифтом, блоки кода и внутренние ссылки, а служебные шаблоны, инфобоксы, таблицы и категории удалены. Объем корпуса составляет от 10 до 100 миллионов документов.

Что можно сделать

  • Предобучение и дообучение языковых моделей на чистых энциклопедических текстах
  • Создание баз знаний для RAG-систем и обучение моделей на редких языках
Задачи
Генерация текста, Эмбеддинги, Классификация текста, Вопрос-ответ, Суммаризация, Перевод
Языки
bh, ho, kge, mwl, tcy, za, zea, Персидский и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
2,2 тыс.
Лайков
23

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("open-index/open-wikipedia-markdown")