biomedbert-abstract-ner-bio-20261106
извлечение дозировок из медицинских статей
2 мин чтенияобновлено
Команда STRIDE-lab опубликовала обновлённую модель для NER (Named Entity Recognition — распознавания именованных сущностей в тексте) из научного проекта PsyNamic. На вход она принимает заголовок и аннотацию биомедицинской статьи на английском языке, а на выходе размечает упоминания дозировок психоделических веществ и областей их применения с помощью BIO-тегов (стандартной схемы разметки начала и продолжения фрагмента в тексте). В основе лежит компактная языковая модель microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract объёмом 0.11B параметров, выбранная авторами среди пяти биомедицинских трансформеров по лучшим результатам на валидации. Инструмент пригодится исследователям и разработчикам пайплайнов для автоматического анализа научных публикаций и систематических обзоров.
Ключевые особенности
- Распознаёт два типа сущностей: дозировки (мг, мг/кг, диапазоны доз) и области применения (
B-Dosage,I-Dosage,B-Application area,I-Application area,O). - Отобрана в ходе сравнения пяти базовых архитектур (BiomedBERT-abstract, BioBERT, BioLinkBERT, ClinicalBERT и SciBERT) при одинаковых гиперпараметрах.
- Используется в продакшене веб-приложения PsyNamic и заменяет предыдущую версию релиза от февраля 2025 года.
- Работает через стандартную библиотеку
transformersс контекстом до 512 токенов.
Что можно сделать
- Автоматически парсить аннотации из PubMed и других баз научных статей для сбора статистики по дозировкам в исследованиях.
- Встроить модель в пайплайн подготовки метаанализов и систематических обзоров в психофармакологии.
- Использовать как базовый экстрактор сущностей для структурирования англоязычных биомедицинских текстов.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForTokenClassification
repo = "STRIDE-lab/biomedbert-abstract-ner-bio-20261106"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
inputs = tokenizer(". <abstract>", truncation=True, max_length=512, return_tensors="pt")
logits = model(**inputs).logits</code></pre>
<blockquote><b>Подробнее</b><br/>Метрики на тестовой выборке (97 аннотаций): F1 по дозировкам — 0.779 (Precision 0.699 / Recall 0.883), F1 по области применения — 0.738, общий строгий F1 — 0.702.<br/>Обучение: 30 эпох с early stopping (patience 5), batch_size 8, learning_rate 5e-5, max_length 512.<br/>Ограничения: модель обучена на закрытом датасете однокомпонентных исследований на английском языке; тег области применения размечается, но не используется в итоговых параметрах статьи PsyNamic.</blockquote>









Комментарии