eranex-embed-v1.0-base

Eranex Tech выпустила фундаментальный sentence encoder на архитектуре Bidirectional Mamba State Space Model. Модель на 14.5M параметров предобучена на отфильтрованном мультиязычном mC4 и кросс-лингвально выровнена через OPUS-100 TLM. Это backbone для дообучения, классификации и извлечения признаков, а не готовый zero-shot поиск.

⚡ Ключевые особенности

• ⚡ Линейная сложность O(N) благодаря Bidirectional Mamba SSM — быстрее на длинных последовательностях, чем квадратичное внимание Transformer.
• 📀 Компактные 128-мерные представления для низкой задержки и эффективного хранения векторов.
• 🌐 Общее мультиязычное пространство для tr, en, es и de; предобучение на mC4 и выравнивание на OPUS-100.
• 🪨 Всего 14.5M параметров: рассчитан на edge, CPU/GPU и ONNX/браузерные среды.
• 🧩 Базовый MLM-backbone: для zero-shot semantic search и RAG нужен Eranex-Embedding-Search после contrastive fine-tuning.

🧩 Пример

import torch
from transformers import AutoModel, PreTrainedTokenizerFast
repo_id = "Eranex-Tech/eranex-embed-v1.0-base"
tok = PreTrainedTokenizerFast.from_pretrained(repo_id)
model = AutoModel.from_pretrained(repo_id, trust_remote_code=True).eval()
inputs = tok(["Merhaba dünya", "Hello world"], padding=True, return_tensors="pt")
with torch.no_grad():
    emb = model(**inputs)

Подробнее

MLM: overall accuracy 56.53%, perplexity 9.40.
STS Spearman: 0.5550 overall; по языкам — 0.5202–0.5938.
Bitext mining Top-1: tr→en 10.70%, es→en 23.60%, de→en 27.10%.
14.5M параметров, hidden 256, 6 слоёв, max 1024 токена; подходит для CPU/GPU/edge.
Сырые эмбеддинги имеют anisotropy — для cosine similarity search нужен contrastive fine-tune или Search-вариант.