ru-fin-reranker

Это файнтюн BAAI/bge-reranker-v2-m3 на 0,57 млрд параметров для русского языка. Модель переранжирует топ-50 выдачи гибридного поиска (BM25 + bge-m3 через RRF) в задачах по нормативным актам Банка России. Автор — nata2627.

🔍 Ключевые особенности

• 📌 Дообучена на 123 реальных вопросах из раздела «Разъяснения» на cbr.ru.
• 📊 На 674 отложенных вопросах NDCG@10 — 0,6791 против 0,6664 у базового реранкера.
• ⚠ Прирост меньше заранее заданного порога +0,025, поэтому сервис проекта оставил базовую модель.
• 🖥 Полный файнтюн, fp16, одна T4; вход до 512 токенов.
• 🛡 NDCG@10 считается по пунктам акта, чтобы другая нарезка чанков не штрафовалась.

💻 Пример

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tok = AutoTokenizer.from_pretrained('nata2627/ru-fin-reranker')
model = AutoModelForSequenceClassification.from_pretrained('nata2627/ru-fin-reranker').eval()
pairs = [['Какой срок хранения кассовых документов?', 'Кассовые документы хранятся ...']]
enc = tok(pairs, padding=True, truncation=True, max_length=512, return_tensors='pt')
with torch.no_grad(): scores = model(**enc).logits.view(-1)

Подробнее

NDCG@10: 0,6791 против 0,6664 у базы на 674 вопросах; без утечек — 0,6784 против 0,6662.
Прирост +0,0127 [+0,0054; +0,0200], p=0,0012, но ниже порога +0,025.
Обучение: 123 вопроса, полный файнтюн, fp16, одна T4, 512 токенов.
Ограничения: тест размечен LLM (kappa 0,782 на 200 парах), корпус — акты в редакции «Вестника Банка России»; вне домена регуляций Банка России ничего не измерялось.