Датасет · 0xDing
Отфильтрованная китайская Википедия 2023
0xDing/wikipedia-cn-20230720-filtered
254 тыс. очищенных статей китайской Википедии для обучения генеративных моделей на китайском.
Что внутри
Это тексты статей китайской Википедии из дампа от 20 июля 2023 года. Оставлено 254 547 качественных статей; отфильтрованы служебные страницы, часть низкокачественных и чувствительных или спорных материалов. Выполнены упрощение и замена слов на привычные для материкового Китая.
Что можно сделать
- Дообучить китайскую языковую модель на чистых статьях
- Обучить LoRA для text-generation на китайском
- Проверить качество генерации на вики-текстах
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,1 тыс.
- Лайков
- 182
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("0xDing/wikipedia-cn-20230720-filtered")