ROR set point retriever e5-base

Это retriever от adambuttrick для ROR set point matching: по строке аффилиации он ищет кандидатов среди записей ROR. Построен на intfloat/multilingual-e5-base, 0,28 млрд параметров, один общий энкодер с mean pooling. Выход — векторы для сравнения через dot product; финальный выбор делает отдельная set-модель.

📌 Ключевые особенности

• 📌 Ищет по всем 143 284 записям ROR и отдаёт top-32 кандидата; матчер добавляет top-10 из лексического индекса.
• 🎨 Один общий энкодер с mean pooling; промпты query: для строк и passage: для записей.
• 🐾 Обучен на 490 704 строках: teacher-разметка, размеченные аффилиации и синтетические нелатинские строки.
• 💻 Веса fp16; для записей max_seq_length 128, для строк при поиске — 512.

💻 Пример

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('adambuttrick/ror-set-point-retriever-e5-base')
model.max_seq_length = 512
q = model.encode(['Dept. of Physics, University of Tokyo, Japan'], prompt_name='query', convert_to_tensor=True)
# r — матрица векторов записей ROR, полученная с prompt_name='passage'
top = (q @ r.T).topk(32)

Подробнее

Recall@32 на test: 96,3% всех ссылок, 97,2% новых и 97,9% для нелатинских строк.
С лексическим top-10 кандидатов recall растёт до 97,6%.
Обучение: 1 × NVIDIA H200, 17 минут, 3 833 шага, InfoNCE.
Ограничение: модель только ранжирует кандидатов; на валидации много связей CNRS по аббревиатуре, это снижает recall.