Датасет · wdndev
Корпус китайских веб-новелл на 9 миллиардов токенов
wdndev/webnovel-chinese
Очищенные тексты около 9 000 китайских сетевых романов, разбитые по главам в формате jsonl для обучения LLM.
Что внутри
Датасет содержит от 100 тысяч до 1 миллиона записей на китайском языке, собранных из примерно 9 000 веб-новелл общим объемом около 9 миллиардов токенов. Тексты очищены, разделены на главы и сохранены в формате jsonl с полями названия книги, заголовка главы и основного текста.
Что можно сделать
- Продолженный претрейн (continued pretraining) языковых моделей на художественном китайском языке
- Обучение генеративных моделей написанию длинных связных историй и романов
- Тренировка LoRA для стилизации текста под китайскую сетевую литературу
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,8 тыс.
- Лайков
- 52
Как загрузить
from datasets import load_dataset
ds = load_dataset("wdndev/webnovel-chinese")