Gemma-4-26B-A4B-Arabic-It

Это арабский файнтюн Google Gemma 4 от Noman Asif: sparse MoE на 25.2B параметров, но только 3.8B активных на токен. Модель обучена на арабском и английском и позиционируется как enterprise-флагман семейства Gemma-4-Arabic. Дообучение шло в два этапа: SFT на 120k строк и DPO на 20k парах.

💪 Ключевые особенности

• 💪 Sparse MoE: 128 экспертов, Top-8 + 1 shared; 25.2B total / 3.8B active.
• 🐙 Двухэтапное обучение: rsLoRA (r=32, alpha=64) на 120k (75% Arabic / 25% replay), затем Trust-Region DPO (beta=0.1, tr_alpha=0.6) на 20k парах и TIES-Merging.
• 👀 ArabicMMLU: 75.58% против 66.36% у базы (+9.22); MadinahQA: 73.42% (+13.85); MGSM-Ar: 80.45% (+11.96).
• 🤫 Zero-forgetting: MMLU-Pro 82.61%, GSM8K 91.42%, HumanEval 77.11% — практически на уровне базовой модели.
• 💸 Лицензия Apache 2.0, standalone bfloat16 safetensors. В семействе также есть dense edge-вариант E4B: 4.0B active / 4.5B total.

👀 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("noman-asif/Gemma-4-26B-A4B-Arabic-It")
model = AutoModelForCausalLM.from_pretrained("noman-asif/Gemma-4-26B-A4B-Arabic-It", torch_dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "اشرح أهم حقوق العامل في نظام العمل السعودي عند انتهاء العقد."}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, temperature=0.4)

Подробнее

ArabicMMLU: 75.58% (+9.22 к базе), MadinahQA: 73.42% (+13.85), MGSM-Ar: 80.45% (+11.96).
Zero-forgetting: MMLU-Pro 82.61%, GSM8K 91.42%, HumanEval 77.11% — практически на уровне базы.
Требования к VRAM/железу в карточке не указаны; веса — standalone bfloat16 safetensors, 25.2B total / 3.8B active.
Ограничения: оценка на арабских/саудовских 0-shot наборах; английские якоря не показывают прироста, только сохранение.