Keural Nova v1.1

Keural Nova v1.1 — корейская instruction-tuned модель от MKD на базе Qwen/Qwen3.6-35B-A3B. Это 35B MoE с ~3B активных параметров на токен; выпуск — SFT через LoRA, слитый в базовые веса. Цель — корейский диалог, понимание текста и RAG-ответы, с английским replay для контроля регрессий.

🔥 Ключевые особенности

• 🐰 База Qwen3.6-35B-A3B: 35,1 млрд параметров, MoE, ~3 млрд активных на токен.
• 📚 253 528 примеров: ~85% корейских данных и 15% английского replay; формат ChatML, non-thinking.
• 🔥 LoRA rank 32, α 64, merged: адаптированы attention, Gated-DeltaNet, shared и все 256 routed experts; router, embeddings и vision tower заморожены.
• 💻 Полностью merged веса: vLLM serve без загрузки адаптера.
• ❌ Не для генерации кода: HumanEval pass@1 падает 62,20 → 11,59; для knowledge QA лучше базовая модель.
• ✨ Контекст: SFT до 8 192 токенов, архитектура до 262 144, до 1M через YaRN; длинный serving проверен, accuracy отдельно не измерялась.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "mkd-hossain/Keural-Nova-v1.1"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "한국의 전통 발효 음식에 대해 설명해 주세요."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True,
                                 enable_thinking=False, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.95)

Подробнее

Бенчмарки: KoBEST 67,29 против 62,88 у базы (+4,41); MMLU 82,37 (−1,46); GSM8K 86,88, но прирост в основном за счёт формата ответов.
Железо: обучение на 2×H200, bf16, DeepSpeed ZeRO-2; для vLLM — tensor-parallel-size 2.
Ограничения: KMMLU/HAE-RAE/MMLU проседают на ~1–2 пункта, HumanEval pass@1 — 62,20 → 11,59; причина — повреждённые отступы в части кода обучающих данных.
Обучение: 2 эпохи, 15 846 шагов, loss 0,688; контекст SFT — 8 192 токена.