v3v4-novel-150m-ja
компактная LLM для японской прозы
2 мин чтенияобновлено
Экспериментальная модель от eightman999 на ~150 млн параметров для написания японских романов. Это decoder-only Transformer на 12 слоёв (d=768, 12 heads, FFN 3600) с контекстом 4096 токенов и собственным BPE-словарём на 49 152 токена. Есть две версии: NV1C3 сначала строит «карточку персонажей» и план, NV1C2 пишет сразу текст.
Ключевые особенности
- NV1C3: по запросу сначала выводит список персонажей в
<|cast|>, затем сюжет в<|story|>и сам текст. - NV1C2: вариант без планирования — сразу переходит к прозе.
- Веса лежат в двух форматах: родном для обучения и GPT-2-совместимом для
AutoModelForCausalLM. - В комплекте
chat.pyс контролем длины, режимом--thinkи продолжением романа. - Обучена на японских романах и веб-документах, включая взрослые материалы: может генерировать 18+ контент.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo, sub = 'eightman999/v3v4-novel-150m-ja', 'transformers'
tok = AutoTokenizer.from_pretrained(repo, subfolder=sub)
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=sub)
msgs = [{'role': 'user', 'content': 'Напиши сцену весеннего утра примерно на 800 знаков.'}]
x = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors='pt', return_dict=True)
out = model.generate(**x, max_new_tokens=700, min_new_tokens=400)
print(tok.decode(out[0, x['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
Архитектура: 12 слоёв, d=768, 12 heads, FFN 3600, контекст 4096 токенов.GPT-2-формат проверен на transformers 4.57 и 5.x; разница logits с оригиналом ≤0.012 (fp32).
Нет поддержки llama.cpp (GGUF) и MLX; для
chat.py нужен tokenizers==0.22.2.Модель маленькая: возможны сбои сюжета, повторы и путаница имён; для чата и вопросов не предназначена.










Комментарии