multilingual-e5-base-jkn-id-v1
дообученная модель для семантического поиска и сопоставления текстов
2 мин чтенияобновлено
Эта модель представляет собой специализированный файнтюн базовой модели intfloat/multilingual-e5-base, оптимизированный для задач семантического поиска, кластеризации и сопоставления текстов. Она преобразует предложения и параграфы в плотные векторные представления (dense vector space) размерности 768. Разработка пригодится разработчикам и исследователям, которым требуется точный поиск релевантных документов, анализ схожести фраз или организация баз знаний.
Ключевые особенности
- Основана на эффективной архитектуре intfloat/multilingual-e5-base с поддержкой длины последовательности до 512 токенов.
- Выдает векторные представления размерности 768 для точного вычисления косинусного сходства (Cosine Similarity).
- Обучена на корпусе специфических текстовых данных (включая нормативно-правовые акты) с использованием функции потерь MultipleNegativesRankingLoss.
- Демонстрирует высокую точность в задачах информационного поиска (Information Retrieval).
Что можно сделать
- Настроить семантический поиск по внутренней базе знаний, юридическим или медицинским документам.
- Реализовать автоматическую кластеризацию и категоризацию текстовых документов.
- Проводить майнинг парафраз и находить смысловые дубликаты среди пользовательских запросов.
- Интегрировать модель в пайплайны обработки естественного языка с помощью библиотеки sentence-transformers.
Пример
Пример инференса с использованием библиотеки sentence-transformers для оценки схожести запроса и документов:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("chrystian-yunus/multilingual-e5-base-jkn-id-v1")
queries = ['query: apakah persetujuan itu sah']
documents = ['passage: Rujukan pelayanan kesehatan...']
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
Подробнее
Метрики ИР: cosine_ndcg@10: 0.8187, cosine_mrr@10: 0.7593, accuracy@1: 0.6203Размерность эмбеддингов: 768
Размер обучающей выборки: 687 примеров, батч 16, 8 эпох










Комментарии