Arabic ModernBERT Unified
компактный арабский энкодер
2 min readupdated
Arabic ModernBERT Unified от Waqf-AI — компактный арабский текстовый энкодер на 32.79M параметров для masked-language modeling; со всеми task heads — 32.94M. Восьмислойный ModernBERT с шириной 384 и 6 attention heads поддерживает предсказание замаскированных слов, трёхклассовый NLI, extractive QA и 384-мерные sentence embeddings. Веса инициализированы случайно и обучены с нуля; лицензия Apache-2.0.
Ключевые особенности
- 32.79M параметров для MLM; 32.94M со всеми task heads.
- 8 слоёв ModernBERT, hidden width 384, 6 attention heads.
- Masked-word prediction, NLI, extractive QA и 384-мерные sentence embeddings.
- Арабский BPE на 48 000 токенов; configured input limit — 4 096 токенов.
- FP32 safetensors: ~131 MB для encoder + MLM и 0.60 MB для auxiliary heads; Apache-2.0.
Пример
from transformers import pipeline
fill_mask = pipeline("fill-mask", model="Abdelkareem/arabic-modernbert-unified")
for candidate in fill_mask("تقع القاهرة على ضفاف نهر [MASK].", top_k=5):
print(candidate["token_str"], candidate["score"])
Подробнее
На 100 общих арабских кейсах: MLM top-1/top-5 — 70/100 → 65/88; NLI agreement — 68 → 59; retrieval R@1/R@5 — 48/61 → 42/53 (Luna → Terra).Нативные головы: NLI 74.12% accuracy; retrieval 55.27% / 77.73% R@1 / R@5.
Обучение: 3 098 999 документов и 18.30 GB очищенного текста, 2.508B content tokens; 15% token masking.
Ограничения: длинные документы и extractive QA в карточке не измерены; требования к VRAM не указаны.










Comments