Qwen3.5-9B-Instruct-7-merged-bf16

Это text-only BF16 merged-модель на базе Qwen/Qwen3.5-9B примерно на 8,95 млрд параметров. Community fine-tune с LoRA-адаптером (rank 16, alpha 32) учит переписывать короткие запросы, включая японские, в английские positive prompts для Stable Diffusion. Это не официальный релиз Qwen.

🔍 Ключевые особенности

• 🔧 LoRA 7 вмерджена в неквантованную BF16-базу через PEFT safe_merge; vision encoder удалён, изображения и видео не поддерживаются.
• 💬 На выходе — английский prompt с управляемыми весами внимания вида (phrase:weight), а не просто перевод.
• ⚙️ Системный промпт обязателен при инференсе: он не вшит в веса по умолчанию.
• 🖥 Есть отдельная Q4_K_M GGUF-версия; BF16-веса занимают около 18 ГБ.
• 🛡 Проверяли reload и bit-exact greedy output, но вывод до и после мерджа не идентичен.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
mid = 'yoikoarmor/Qwen3.5-9B-Instruct-7-merged-bf16'
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, dtype=torch.bfloat16, device_map='auto')
msgs = [{'role':'system','content': system_prompt},{'role':'user','content':'少年の旅立ち'}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
out = model.generate(**tok(text, return_tensors='pt', add_special_tokens=False).to(model.device), max_new_tokens=256, do_sample=False)

Подробнее

BF16-веса — около 18 ГБ, runtime-память выше; для меньших GPU есть Q4_K_M GGUF.
После мерджа reload дал bit-exact 128-токенный greedy output, но вывод до и после мерджа не идентичен: max abs logit diff 0.12890625.
В тесте 20 коротких запросов top-1 совпал у PEFT BF16 и merged BF16 в 95% (tie-aware 100%); merged BF16 vs Q4_K_M — 90% (tie-aware 95%).
Это не бенчмарк качества: возможны повторы, постоянный вес 1.2, обрыв на лимите токенов и лишние детали. Модель не принимает изображения/видео и не заменяет general-purpose ассистента.