PubMedBERT SemRep accuracy classifier
проверка фактов из научных статей
2 мин чтенияобновлено
Эта модель оценивает, действительно ли предложение из биомедицинской статьи подтверждает извлечённую из него триплету фактов (субъект, предикат, объект). На выходе классификатор выдаёт метку CORRECT или INCORRECT с оценкой вероятности, помогая отсеивать ошибки автоматического парсинга. Модель размером 0.11B параметров создана на базе BiomedBERT (PubMedBERT) и воспроизводит классификатор из научной работы по поиску новых применений лекарств для COVID-19 через графы знаний. Инструмент пригодится исследователям и NLP-инженерам для очистки биомедицинских баз данных, таких как SemMedDB.
Ключевые особенности
- Полностью воспроизводит архитектуру, код обучения и результаты статьи Zhang et al. (2021).
- Обучена на 7 038 размеченных утверждениях из аннотаций PubMed по более чем 20 типам отношений (включая
INTERACTS_WITH,TREATSиINHIBITS). - Компактный размер (0.11B параметров) и лицензия MIT позволяют легко интегрировать модель в локальные пайплайны.
- Возвращает вероятности обоих классов через softmax, позволяя гибко настраивать порог фильтрации.
Что можно сделать
- Очистить базу SemMedDB от ложных связей перед построением биомедицинских графов знаний.
- Встроить модель через библиотеку
transformersв пайплайн обработки результатов утилиты SemRep. - Использовать для пакетной валидации больших объёмов извлечённых фактов из англоязычных аннотаций PubMed.
Пример
import re
from transformers import pipeline
clf = pipeline("text-classification", model="xincan/pubmedbert-semrep-accuracy-classifier")
def norm(s):
return " ".join(re.sub(r"[\W_]+", " ", s).split()).lower()
print(clf(f"{norm('Control of brain tryptophan concentration in rats.')} [SEP] {norm('tryptophan TREATS rats')}"))
Подробнее
Метрики на тестовой выборке (703 примера): Precision 0.871, Recall 0.815, F1 0.842 (средний F1 по 10 запускам — 0.859 против 0.854 в оригинальной статье).Обучение проводилось на одной видеокарте NVIDIA A40 с максимальной длиной контекста 512 токенов.
Ограничения: работает только с английским языком, не проверяет научную истинность самого утверждения и пропускает около 1 из 7 неверных триплет.










Комментарии