Датасет · wikimedia
Очищенные тексты Wikisource на многих языках
wikimedia/wikisource
Корпус очищенных полных текстов Wikisource на десятках языков для обучения и оценки языковых моделей.
Что внутри
Датасет собран из дампов Wikisource (dumps.wikimedia.org) и содержит по одному подмножеству на язык с единственным train-сплитом. В каждом примере — полный текст произведения, очищенный от markdown и лишних разделов вроде ссылок. Доступны многие языки, включая арабский, ассамский, азербайджанский, банжарский, белорусский и болгарский.
Что можно сделать
- Дообучение многоязычной LLM для text-generation
- Проверка fill-mask на текстах разных языков
- Претрейн компактной языковой модели на литературных текстах
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Арабский, as, az, ban, be, bg, bn, br и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 7,6 тыс.
- Лайков
- 88
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("wikimedia/wikisource")