sbert_raw_finmodern_pair_merged
финансовая SBERT-модель для поиска по документам
2 мин чтенияобновлено
Модель представляет собой файнтюн (дообученную версию) базовой модели sentence-transformers/bert-base-nli-mean-tokens, адаптированную для финансовой сферы. Она преобразует предложения и абзацы в 768-мерные плотные векторные пространства и используется для семантического поиска (retrieval). Модель натренирована на синтетических парах текстов из финансовых отчетов SEC (комиссии по ценным бумагам и биржам) с использованием библиотеки sentence-transformers. Она пригодится разработчикам и аналитикам, создающим поисковые системы или RAG-системы (системы генерации с дополненным поиском) для анализа финансовой отчетности и корпоративных документов.
Ключевые особенности
- Специализация на финансовых текстах и документах SEC
- Преобразование текстов в 768-мерные векторы (Output Dimensionality)
- Максимальная длина последовательности до 512 токенов
- Использование функции Cosine Similarity для оценки близости векторов
Что можно сделать
- Настроить семантический поиск по годовым и квартальным финансовым отчетам компаний
- Интегрировать модель в RAG-пайплайн для ответов на вопросы по корпоративной документации
- Использовать для сопоставления финансовых запросов и релевантных фрагментов текста
Пример
from sentence_transformers import SentenceTransformer
# Загрузка модели
model = SentenceTransformer("finvector/sbert_raw_finmodern_pair_merged")
# Запуск инференса
queries = [
'What is the reporting currency used for the Ares Management Corporation financial statements?',
]
documents = [
'Financial Statements (Continued) (Dollars in Thousands, Except Share Data and As Otherwise Noted)',
'Factors contributing to a decrease in Genco’s electric margin were as follows...',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
# Получение оценок сходства
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
Подробнее
Метрики на наборе finance-eval: cosine_ndcg@10 составляет 0.9754, cosine_accuracy@1 равна 0.9333.Размер модели: 0.11 млрд параметров.
Обучена на датасете fin_modern_bert-pairs-sec-synthetic-v1 с использованием функции потерь CachedMultipleNegativesRankingLoss.
Лицензия: apache-2.0.










Комментарии