bge-small-sec-filings
точный поиск по отчётам SEC
2 min read
Модель помогает искать нужные фрагменты в годовых отчётах американских компаний по форме 10-K: по вопросу она ранжирует пассажи из разделов Business, Risk Factors, MD&A и Market Risk. На выходе — не готовый ответ, а эмбеддинги и оценки релевантности, которые используют в retrieval-части RAG (поиск контекста для LLM). Сделана на базе BAAI/bge-small-en-v1.5, около 0.03B параметров, дообучена автором на 1067 парах «вопрос — фрагмент» из 10-K. От базовой модели отличается лучшим top-1 попаданием на отложенных вопросах: 79.7% против 73.0%. Пригодится тем, кто строит поиск или аналитического бота по финансовым отчётам США.
Ключевые особенности
- Заточена под 10-K: Business, Risk Factors, MD&A и Market Risk.
- Компактная: 0.03B параметров; файнтюн занял около 30 секунд на одной NVIDIA T4.
- На 355 отложенных вопросах ndcg@10 вырос с 0.854 до 0.898, mrr@10 — с 0.816 до 0.868.
- Recall@1 — 79.7% против 73.0% у базы: правильный пассаж чаще оказывается первым.
- Для запросов используется instruction prefix bge: «Represent this sentence for searching relevant passages:».
Что можно сделать
- Собрать RAG-бота по 10-K: находить риск-факторы, объяснения менеджмента и описания бизнеса.
- Искать конкретные пассажи в разделах Business, Risk Factors и MD&A, не пролистывая весь отчёт.
- Встроить как retrieval-модель в аналитический ассистент по финансовым документам — например, в проект dealscope-agent, для которого её обучали.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("jc4845/bge-small-sec-filings")
q = model.encode("Represent this sentence for searching relevant passages: What supply chain risks does Apple disclose?")
Подробнее
На 355 вопросах по компаниям, которых не было в обучении: ndcg@10 — 0.898 (база 0.854), mrr@10 — 0.868 (0.816), recall@1 — 79.7% (73.0%).Обучение: 1067 пар «вопрос — пассаж», 3 эпохи, batch 64, lr 2e-5, fp16 на одной NVIDIA T4 — около 30 секунд.
Ограничения: вопросы синтетические, покрыта только проза US 10-K (без таблиц, 10-Q и не-US отчётностей), eval-выборка небольшая — разницу меньше ~0.02 стоит считать шумом.










Comments