К содержимому

Датасет · wdndev

Корпус китайских веб-новелл на 9 миллиардов токенов

wdndev/webnovel-chinese

Очищенные тексты около 9 000 китайских сетевых романов, разбитые по главам в формате jsonl для обучения LLM.

Что внутри

Датасет содержит от 100 тысяч до 1 миллиона записей на китайском языке, собранных из примерно 9 000 веб-новелл общим объемом около 9 миллиардов токенов. Тексты очищены, разделены на главы и сохранены в формате jsonl с полями названия книги, заголовка главы и основного текста.

Что можно сделать

  • Продолженный претрейн (continued pretraining) языковых моделей на художественном китайском языке
  • Обучение генеративных моделей написанию длинных связных историй и романов
  • Тренировка LoRA для стилизации текста под китайскую сетевую литературу
Задачи
Генерация текста
Языки
Китайский
Размер
100K–1M записей
Скачиваний за месяц
5,8 тыс.
Лайков
52

Как загрузить

from datasets import load_dataset

ds = load_dataset("wdndev/webnovel-chinese")