Martos-Preview

Martos-Preview — экспериментальная модель для ролевого чата и креативных диалогов, собранная из Qwen3-1.7B. Автор применил LLaMA-Pro-подобное расширение: клонировал семь transformer-блоков, заморозил исходную сеть и обучал только проекции в новых блоках. Итог — 35 слоёв и около 2,07 млрд параметров в merged FP16-формате.

🤓 Ключевые особенности

• 🗣 Работает по стандартному Qwen3 chat template: system-карточка персонажа, приветствие assistant и обычные реплики.
• 🤓 Архитектура: 28 слоёв Qwen3-1.7B расширены до 35; вставленные блоки на позициях [4, 9, 14, 19, 24, 29, 34].
• 📝 Обучались только projection-параметры в новых блоках — около 352M; LoRA и адаптеры не использовались.
• 👍 Готовый merged-чекпоинт: веса, конфиг, tokenizer, generation config и chat template уже в репозитории.
• 🫡 Обучение: 1400 шагов, окно 4096 токенов, loss только по assistant-токенам, одна Tesla T4.

📝 Пример

import torch; from transformers import AutoModelForCausalLM, AutoTokenizer
mid = "uniqueplayer9102/Martos-Preview"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.float16, device_map="auto")
msgs = [{"role": "system", "content": "You are Aria, a sarcastic space pilot."}]
inp = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inp, max_new_tokens=120, temperature=0.7, min_p=0.05)
print(tok.decode(out[0][inp["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

Бенчмарки ролеплея и общего языка пока не проводились — это экспериментальный preview, а не измеренное улучшение Qwen3.
Модель может терять детали сцены в длинных диалогах, повторяться и уверенно выдумывать факты.
Лицензия Apache-2.0; обучение шло на ролевых данных, поэтому возможен взрослый контент без дополнительного safety-тюнинга.