arabic-english-e5-small-retrieval-v2

Это 118M-параметровая модель sentence-transformers от mzahran1 на базе intfloat/multilingual-e5-small. Она дообучена для retrieval по смешанным арабским и английским текстам и дистиллирована из v2-m3: listwise KL по in-batch сходствам, только KD, 2 эпохи, затем усреднение весов трёх seed. Это преемник v1: +5.0 MRR@10 на направлении ar->en при том же размере; на этом направлении всё ещё уступает bge-m3.

🔥 Ключевые особенности

• 🐆 Двуязычный retrieval: запросы на арабском и английском, документы на любом из двух языков.
• 🦾 118M параметров — тот же размер, что у базовой e5-small; есть companion reranker arabic-english-reranker-mminilm.
• 💯 На билингвальном бенчмарке MRR@10 ×100: macro 76.9 против 66.9 у e5-small.
• ⬇ С reranker top-50 macro растёт до 83.6.
• 🧘 Нужны e5-префиксы query: и passage: ; текст длиннее 256 токенов в обучении не видели.

✅ Пример

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('mzahran1/arabic-english-e5-small-retrieval-v2')
query = model.encode(['query: متى تأسست جامعة الملك عبدالله للعلوم والتقنية؟'])
docs = model.encode([
    'passage: The King Abdullah University of Science and Technology was founded in 2009 in Thuwal.',
    'passage: Riyadh is the capital of Saudi Arabia and its largest city.',
])
print(model.similarity(query, docs))  # KAUST passage scores highest

Подробнее

MRR@10 ×100 на билингвальном бенчмарке: ar->ar 80.3, en->en 88.0, ar->en 59.7, en->ar 79.7, macro 76.9. MTEB(ara, v1): Mean (Task) 66.20 против 65.63 у e5-small, но прирост в пределах шума.
Ограничения: забывает часть Arabic-only навыков относительно e5-small — Mr.TyDi reranking 79.2->68.9, MIRACL-HN 72.4->68.3, SemRel24 STS 51.0->46.1. Обучение: 39 377 примеров, 2 эпохи, lr 3e-5, batch 64, bf16. В карточке раскрыта утечка: 9 train-строк совпали с запросами MTEB MIRACL-HN.v2 ar dev (0.8%); модель не переобучали.