DrugProt SciBERT

Исследовательский чекпоинт от long-unicam на базе allenai/scibert_scivocab_cased: ищет упоминания химикатов и генов/белков в английских biomedical-текстах и классифицирует связи chemical → gene по 13 типам DrugProt. Это не обычная transformers-модель: загрузить через AutoModel или pipeline нельзя.

🦾 Ключевые особенности

• ✅ NER через span classification: кандидаты до 24 суб-токенов, классы None, CHEMICAL, GENE.
• 🔥 RE с typed entity markers: для каждой пары chemical–gene в одном предложении, multi-label sigmoid, порог 0.5.
• 🧘 Совместное обучение NER + RE на DrugProt v1.2; оценка на официальном dev-наборе из 750 абстрактов.
• 👁 Требуется исследовательский код cancer_twins.scientific_ai, который не распространяется в репозитории.
• 📉 Слабое место: редкие типы связей и пары вне одного предложения не покрываются.

💥 Пример

from huggingface_hub import snapshot_download
from transformers import AutoTokenizer
from cancer_twins.scientific_ai.model import load_model

checkpoint = snapshot_download('long-unicam/drugprot-scibert-ner-rel')
model, config = load_model(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint, use_fast=True)

Подробнее

NER на dev: F1 89.73; связи с gold-сущностями: F1 74.5; end-to-end: 64.30.
Редкие типы AGONIST-ACTIVATOR и SUBSTRATE_PRODUCT-OF не предсказываются (F1 0.0).
Только связи внутри одного предложения; обучение на английских PubMed-абстрактах.
Для запуска: Python 3.12, PyTorch 2.x, transformers 5.x, safetensors и пакет cancer_twins.scientific_ai.
Research use only: не для клинических решений; отрицания и гипотезы отдельно не моделируются.