Bioformer-8L-RetroMAE
компактный энкодер для биомедицинского поиска
2 мин чтенияобновлено
Модель помогает искать статьи в PubMed не по ключевым словам, а по смыслу: она превращает заголовок и абстракт в вектор, который можно сравнивать с векторами запросов. Это BERT-энкодер на 43M параметров, продолжение предобучения Bioformer-8L с целью RetroMAE на примерно 32 млн записей PubMed. Важно: чекпоинт не дообучен под retrieval, а его сырые [CLS]-эмбеддинги не рассчитаны на zero-shot semantic search. Его смысл — быть сильной стартовой инициализацией для bi-encoder retriever’ов, в том числе для RAG по биомедицинской литературе. Пригодится разработчикам поиска и RAG, которым важна скорость кодирования на десятках миллионов документов.
Ключевые особенности
- 43M параметров, BERT-энкодер: 8 слоёв, hidden size 512, 8 attention heads, максимум 512 токенов.
- RetroMAE заставляет
[CLS]суммировать весь текст: декодер нужен только на предобучении и потом отбрасывается. - В бенчмарке авторов encoder примерно в 3 раза быстрее моделей размера BERT-Base на CPU.
- Английский biomedical WordPiece-словарь на 32 768 токенов; эмбеддинг —
[CLS]на 512 измерений. - Не готовый retriever: перед использованием нужен contrastive fine-tuning с hard negatives.
Что можно сделать
- Инициализировать отдельные query- и document-энкодеры для bi-encoder поиска по биомедицинским статьям.
- Индексировать десятки миллионов PubMed-абстрактов компактным энкодером, где важна скорость.
- Собрать retrieval-компонент для RAG-бота, который отвечает по биомедицинской литературе после дообучения.
- Обучать на парах вопрос–документ с InfoNCE и BM25 hard negatives, как в сетапе из карточки.
Пример
Сценарий из карточки: возьмите этот чекпоинт как инициализацию для query- и document-энкодеров, обучите на парах вопрос–документ с InfoNCE, temperature 0.05 и 100 BM25 hard negatives на вопрос. Затем кодируйте запросы длиной до 128 токенов и документы до 512, сравнивайте по inner product после L2-нормализации.
Подробнее
После fine-tuning на BioASQ Task 12B ретривер с этой базой дал MRR 0.209 и Recall@1000 30.0% против 0.182 и 25.4% у PubMedBERT.Оценка шла на полном корпусе из 28.8 млн PubMed-абстрактов и 340 вопросах.
Ограничения: чекпоинт не дообучен под retrieval, язык — только английский, максимум 512 токенов; сырые
[CLS] не для zero-shot поиска.









Комментарии