Китайские веб-романы для генерации текста

Что внутри

Датасет содержит около 21,7 млн инструкционных примеров из 12 560 китайских веб-романов. Есть подвыборка на 50 тыс. примеров в JSON, где вход и выход не длиннее 512 токенов. Примеры построены по пяти инструкциям: сгенерировать аннотацию по названию, начало по названию и аннотации, продолжение по тексту и др. Язык — китайский.

Что можно сделать

• SFT LLM для генерации китайских романов
• Дообучение LoRA на инструкциях «название → аннотация»
• Оценка моделей на продолжении длинного текста

Модели, обученные на нём

• mradermacher/Phantasor_V0.3-137M-GGUF 303
• mradermacher/Phantasor-137M-GGUF 200
• mradermacher/Phantasor_V0.1-137M-GGUF 176
• mradermacher/Phantasor_V0.2-137M-GGUF 121

Как загрузить

from datasets import load_dataset

ds = load_dataset("zxbsmk/webnovel_cn")