Qwen3.5-4B-Nocturne-v1.0

Специализированный SFT от khang272 на базе Qwen/Qwen3.5-4B (~4,66 млрд параметров). Модель заточена под длинную художественную прозу, иммерсивный ролеплей и удержание персонажа в многоходовых диалогах.

✨ Ключевые особенности

• 🌙 Гибридная архитектура 3:1: 24 слоя Gated DeltaNet linear attention и 8 слоёв Gated Attention; заявлен контекст до 262K токенов.
• 🕸 Строгая анти-клише фильтрация: из данных убраны повторяющиеся фразы вроде «shivers down spine» и «a testament to».
• ✨ Высокая лексическая вариативность: отбор по MATTR и балансу диалога/нарратива.
• 👁 Следование system card: формат *действия* и «диалог» сохраняется в течение 20+ ходов.
• 💻 Обучение на 5 000 примеров: 45% multi-turn roleplay, 40% creative writing, 15% instruct anchor.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'khang272/Qwen3.5-4B-Nocturne-v1.0'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype='auto', device_map='auto')
prompt = tok.apply_chat_template([{'role':'user','content':'Напиши сцену встречи в дождливом городе.'}], tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(prompt, return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=256, temperature=1.05, min_p=0.08, do_sample=True)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

Обучение: SFT на 5 000 примерах, окно 400–4096 токенов; 45% multi-turn roleplay, 40% creative writing, 15% instruct anchor.
Настройки: temperature 0.95–1.15 (1.05), min-p 0.05–0.10, DRY multiplier 0.8, repetition penalty 1.05–1.08.
Ограничения: 4B может терять пространственную логику при 5+ персонажах и редких исторических деталях; отказы отфильтрованы — модерация на пользователе.
Бенчмарков и требований к VRAM в карточке нет.