К содержимому

Датасет · singletongue

Очищенные абзацы Википедии на 6 языках с разметкой

singletongue/wikipedia-paragraphs

Крупный многоязычный корпус параграфов из Википедии с внутренними ссылками, категориями и идентификаторами Wikidata.

Что внутри

Корпус содержит от 100 миллионов до 1 миллиарда записей на английском, немецком, испанском, французском, итальянском и арабском языках, разбитых по языковым конфигурациям (например, свежий дамп enwiki от ноября 2026 года). Каждая запись представляет собой очищенный абзац текста из Википедии, дополненный информацией о внутренних вики-ссылках (Wikilinks), категориях, шаблонах и привязкой к Wikidata QID. Формат данных сочетает текст и табличные метаданные.

Что можно сделать

  • Обучение и дообучение моделей связывания именованных сущностей (Entity Linking) с Wikidata
  • Создание многоязычных систем информационного поиска и RAG-баз знаний
  • Предобучение и оценка языковых моделей на чистых энциклопедических текстах
Языки
Арабский, Немецкий, Английский, Испанский, Французский, Итальянский, Японский, Корейский и ещё 3
Размер
100M–1B записей
Скачиваний за месяц
22,4 тыс.
Лайков
2

Как загрузить

from datasets import load_dataset

ds = load_dataset("singletongue/wikipedia-paragraphs")