Qwen3.8-27B-Chinese-Xuanhuan-Novel-Writer-DPO
LoRA для китайской веб-фантастики
2 min read
Экспериментальный PEFT LoRA-адаптер от JiangLing-js на базе unsloth/Qwen3.8-27B. Он предназначен для генерации длинных китайских художественных сцен: из структурного outline, контекста и конфликта — в непрерывную прозу. Обучение шло в два этапа: SFT, затем DPO.
Ключевые особенности
- Двухэтапное обучение: SFT на 2380 сценовых примерах, затем DPO на 607 парах, где человеческая проза предпочтительнее ответов модели или API.
- LoRA rank 64, alpha 128, 353 370 112 обучаемых параметров, BF16; target modules включают q/k/v/o/gate/up/down/out_proj.
- Thinking mode отключён при обучении; промпт ожидает сеттинг, состояния персонажей, пересказ, событийные биты, конфликт и конечное состояние.
- Подходит для черновиков китайской веб-прозы, генерации сцен из outline, помощников для длинной прозы и research по preference optimization.
- Ограничения: один домен китайского фэнтези, возможен overfit, маленький validation-набор и неполный аудит запоминания исходных текстов.
Пример
from unsloth import FastLanguageModel
model, processor = FastLanguageModel.from_pretrained('JiangLing-js/Qwen3.8-27B-Chinese-Xuanhuan-Novel-Writer-DPO', max_seq_length=4096)
FastLanguageModel.for_inference(model)
messages = [{'role': 'user', 'content': '【事件骨架】两人进入山谷;主角观察环境;导师说明训练要求。写成完整小说场景。'}]
prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = processor(prompt, return_tensors='pt').to('cuda')
out = model.generate(**inputs, max_new_tokens=1700, temperature=0.85, top_p=0.90)
print(processor.decode(out[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
DPO eval loss 0.4545, preference accuracy 1.0 на 33 парах, reward margin +16.7967; это не означает 100% качества письма.Пик памяти: SFT ~58,6 GB, DPO ~69,1 GB allocated на NVIDIA A100-SXM4-80GB.
Исходные тексты не распространяются из-за copyright; адаптер не даёт прав на произведения.










Comments