Keural Nova 1.1

Keural Nova 1.1 — instruction-tuned модель от MKD на базе Qwen/Qwen3.6-35B-A3B (Apache 2.0): 35B параметров MoE и ~3B активных на токен. Это SFT через LoRA, слитую в веса, на 253 528 примерах (~85% корейский, 15% английский replay) для корейского диалога и понимания текста.

✨ Ключевые особенности

• 📚 Заточен под корейский диалог, понимание и генерацию; v1.1 — финальная точка после 2 эпох и 15 846 шагов.
• 💻 База — MoE Qwen3.6-35B-A3B: 35B параметров, ~3B активных на токен; LoRA rank 32, α 64, слита в веса.
• 🔥 Адаптированы attention, Gated-DeltaNet, shared experts и все 256 routed experts в каждом слое; router и gates заморожены.
• ❌ Не для генерации кода: HumanEval pass@1 падает с 62,20 до 11,59. Причина — повреждённые отступы в части обучающих примеров.
• 🖼 Наследует vision tower базы, но vision не обучали и не оценивали — считайте модель текстовой.
• 📚 Контекст: SFT до 8 192 токенов; база до 262 144, через YaRN — до 1M. Подача до 1M проверена в проде, accuracy long-context не измерялась.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mkd-dev/Keural-Nova-1.1"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "한국의 전통 발효 음식에 대해 설명해 주세요."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.95)

Подробнее

Бенчмарки: KoBEST 67,29 против 62,88 у базы (+4,41), MMLU 82,37 против 83,83 (−1,46), HumanEval 11,59 против 62,20.
Обучение: LoRA rank 32, α 64, 2 эпохи, 15 846 шагов, effective batch 32, LR 1e-4 cosine, bf16, DeepSpeed ZeRO-2, 2×H200.
Ограничения: просадка на KMMLU/HAE-RAE/MMLU на ~1–2 пункта, сильная деградация кода; long-context accuracy без отдельного бенчмарка; vision не обучалась.
GSM8K 86,88 — рост в основном за счёт формата ответа, а не +55 к reasoning; в карточке об этом прямо предупреждают.