Датасет · singletongue
Очищенные абзацы Википедии на 6 языках с разметкой
singletongue/wikipedia-paragraphs
Крупный многоязычный корпус параграфов из Википедии с внутренними ссылками, категориями и идентификаторами Wikidata.
Что внутри
Корпус содержит от 100 миллионов до 1 миллиарда записей на английском, немецком, испанском, французском, итальянском и арабском языках, разбитых по языковым конфигурациям (например, свежий дамп enwiki от ноября 2026 года). Каждая запись представляет собой очищенный абзац текста из Википедии, дополненный информацией о внутренних вики-ссылках (Wikilinks), категориях, шаблонах и привязкой к Wikidata QID. Формат данных сочетает текст и табличные метаданные.
Что можно сделать
- Обучение и дообучение моделей связывания именованных сущностей (Entity Linking) с Wikidata
- Создание многоязычных систем информационного поиска и RAG-баз знаний
- Предобучение и оценка языковых моделей на чистых энциклопедических текстах
- Языки
- Арабский, Немецкий, Английский, Испанский, Французский, Итальянский, Японский, Корейский и ещё 3
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 22,4 тыс.
- Лайков
- 2
Как загрузить
from datasets import load_dataset
ds = load_dataset("singletongue/wikipedia-paragraphs")