e5-mistral_FinModernBERT_query

Это модель для sentence-transformers, дообученная от intfloat/e5-mistral-7b-instruct на синтетическом наборе fin_modern_bert-pairs-sec-synthetic-v1. Она превращает предложения и абзацы в 4096-мерные векторы для semantic search, clustering, классификации и paraphrase mining. Язык — английский.

🔎 Ключевые особенности

• 🧭 База — e5-mistral-7b-instruct, около 7.11B параметров, архитектура MistralModel.
• ⚙ Контекст до 32 768 токенов, выходная размерность — 4096, сходство — cosine similarity.
• 💼 Обучение на 44 709 парах query/positive из финансовых SEC-текстов; данные синтетические.
• 📡 API sentence-transformers: encode_query и encode_document.
• ✅ Лицензия Apache-2.0.

💻 Пример

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('kokitabayashi/e5-mistral_FinModernBERT_query')
queries = ['What were total capital expenditures in fiscal 2015?']
docs = ['In fiscal 2015, capital spending was $120 million in capacity expansion projects.']
q = model.encode_query(queries)
d = model.encode_document(docs)
print(model.similarity(q, d))

Подробнее

На finance-eval метрики очень низкие: cosine_ndcg@10 — 0.0004, cosine_accuracy@1 — 0.0002, cosine_mrr@10 — 0.0003.
Обучение: MultipleNegativesRankingLoss (scale 20.0), 44 709 train-примеров и 9 580 eval.
Язык — только английский; требования к VRAM в карточке не указаны.