MedSAE for bge-large-en-v1.5
интерпретируемый медицинский поиск через разреженные автоэнкодеры
2 мин чтенияобновлено
Набор разреженных автоэнкодеров (SAE — нейросетей, раскладывающих плотные векторы на набор отдельных понятных признаков) от команды doctolib-lab к статье для ML4H 2026. Модель берет 1024-мерные эмбеддинги популярного энкодера BAAI/bge-large-en-v1.5 и переводит их в разреженный код из 3072 латентных признаков, где активны только k штук (64 или 256). В отличие от обычных плотных векторов, каждый активный признак здесь соответствует конкретному медицинскому концепту, а конфигурация k256_m3072 еще и обходит базовую модель по точности поиска на целевом домене. Пригодится исследователям и разработчикам систем поиска по англоязычной биомедицинской литературе, которым важно понимать, почему документ нашелся по запросу.
Ключевые особенности
- Два готовых чекпоинта под разные задачи:
k64_m3072для максимальной интерпретируемости признаков иk256_m3072для лучшего качества поиска. - Поиск выполняется обычным косинусным сходством между разреженными кодами запроса и документа без сложных надстроек.
- Обучены только на датасете CURE (1400 запросов по медицинской литературе) с комбинацией функций потерь MSE и InfoNCE.
- Веса распространяются в формате
safetensorsвместе сcfg.jsonпод некоммерческой лицензией CC BY-NC 4.0.
Что можно сделать
- Построить объяснимый поиск по англоязычным научным медицинским статьям, выводя вместе с документом активные латентные концепты запроса.
- Использовать чекпоинт
k64_m3072в исследованиях интерпретируемости, чтобы анализировать, какие медицинские темы кодирует модель BGE. - Заменить стандартные эмбеддинги BGE на разреженные коды
k256_m3072в пайплайнах ретривала по биомедицине и биоинформатике.
Пример
import json, torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from sentence_transformers import SentenceTransformer
w = load_file(hf_hub_download("doctolib-lab/medsae-bge-large-en-v1.5", "k64_m3072/sae.safetensors"))
cfg = json.load(open(hf_hub_download("doctolib-lab/medsae-bge-large-en-v1.5", "k64_m3072/cfg.json")))
# После кодирования через BGE (с префиксом для query) применяем TopK + ReLU к (x - b_pre) @ encoder.T + bias
Подробнее
Метрика NDCG@10 (среднее по 3 сидам): на датасете CURE вариантk256_m3072 набирает 60.50% против 53.06% у оригинального BGE, на R2MED Medical Sciences — 29.05% против 27.78%, на R2MED Bioinformatics — 28.10% против 27.04%.На части непрофильных датасетов (NFCorpus, MIRIAD, R2MED Biology) разреженные коды уступают исходному BGE.
Ограничения: только английский язык и научная литература; модель не проверялась на клинических заметках и не предназначена для принятия врачебных решений.










Комментарии