sriq-clover-35B-A3B-v1.6

Это PEFT LoRA-адаптер (не merged) для Diffuspace/Clover-35B-A3B-Preview — блочно-диффузионной MoE-модели. Адаптер от SRIQ учит рассуждать на сжатом упрощённом китайском, проверять себя через 验： и отвечать на языке вопроса.

✨ Ключевые особенности

• 🤖 Рассуждение на китайском: 55 из 57 некитайских held-out вопросов.
• ✅ Самопроверка 验： появляется в 54 из 64 трасс.
• 🌎 Ответ на языке вопроса — 64 из 64 примеров.
• 🚨 Обязателен system prompt: без него эффект файнтюна не проявляется.
• 💻 Обучение: QLoRA r=32, α=64, эксперты в NF4, затем отфильтрованный SFT.
• 👀 Точность ответов не бенчмаркалась — проверяйте на своей нагрузке.

📌 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = 'Diffuspace/Clover-35B-A3B-Preview'
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, trust_remote_code=True, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, 'kaivoss/sriq-clover-35B-A3B-v1.6').merge_and_unload()
messages = [{'role':'system','content':'You are a helpful assistant'},{'role':'user','content':'4 + 7 = ?'}]

Подробнее

На 64 held-out примерах: 55/57 некитайских вопросов рассуждают только на китайском, 验： — 54/64, ответ на языке вопроса — 64/64.
Без system prompt адаптер рассуждает как базовая модель. В SGLang трассы смешивают языки; 1/64 зацикливается.
В bf16 нужно ~70 ГБ VRAM; для SGLang адаптер надо слить с базой, поддержка только BF16.