Zenotron-Mini-0.5-Multilingual

Это preview-релиз (v0.5) от Open Zeno-Zero Research Lab на базе Qwen3.6-35B-A3B. Модель прошла post-training методом Full LoRA (BF16) на 30 000 инструкциях, поровну на русском, английском, французском и корейском. Всего 35B параметров, около 3B активных, контекст — 16 384 токена.

🔥 Ключевые особенности

• 🔥 База Qwen3.6-35B-A3B: ~3B активных параметров при 35B общих — ставка на эффективный inference.
• 👉 Full LoRA (BF16) и контекст 16 384 токена.
• 💪 Обучение на 30 000 инструкциях: по 25% RU, EN, FR и KO.
• 👀 Global-MGSM: 89.20% против 75.50% у базовой модели (+13.70 п.п.).
• 🤫 Cross-lingual прирост на Global-MGSM: FR +21.2%, KO +16.8%, EN +9.6%, RU +7.2%.
• 🍒 Belebele: 93.44% против 92.56% (+0.89 п.п.).

💪 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
MODEL_ID = "open-zzrl/Zenotron-Mini-0.5-Multilingual"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
messages = [{"role": "user", "content": "Реши задачу по шагам: ..."}]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt")
inputs = inputs.to(model.device)

Подробнее

Global-MGSM: 89.20% vs 75.50% у Qwen3.6-35B-A3B; Belebele: 93.44% vs 92.56%.
Веса в BF16; доступны FP8, FP4 и GGUF, включая i-quants для llama.cpp/Ollama.
Это экспериментальный preview v0.5: по данным авторов, добавление KO и FR размыло качество целевых языков. В v1.0 обещают сфокусироваться на RU и EN.