TASA Brain MRI TD-v1
чекпоинт BiomedCLIP для анализа МРТ мозга
2 мин чтенияобновлено
Это дообученная версия мультимодальной модели Microsoft BiomedCLIP (ViT-Base/16 + PubMedBERT), адаптированная для работы со снимками МРТ головного мозга. Модель учится различать наличие и отсутствие опухолей за счёт метода Token Dropping (удаления патчей изображения с целевой областью после позиционного эмбеддинга для создания негативных примеров). В отличие от ранней версии на 12 644 снимках, этот чекпоинт переобучен на очищенной выборке из 5 133 изображений без дубликатов из тестового банка Figshare. Подойдёт исследователям в области медицинской визуализации и разработчикам пайплайнов на базе OpenCLIP.
Ключевые особенности
- Обучена на очищенном датасете из 5 133 снимков МРТ (4 886 глиом, 233 менингиомы и 14 опухолей гипофиза) из наборов BraTS и BRISC.
- Использует функцию потерь Tasa50Loss с фиксированными весами и обучением обоих энкодеров — визуального и текстового.
- Применяет GT-guided Token Dropping: удаляет патчи размером 16x16 пикселей, если в них есть минимум 10 целевых пикселей, сохраняя позиции остальных токенов.
- Опубликована в виде полного тренировочного чекпоинта OpenCLIP (
epoch_50.pt, ~2,35 ГБ), включаяstate_dict, оптимизатор и скейлер.
Что можно сделать
- Использовать для генерации эмбеддингов МРТ-снимков и бинарной классификации (опухоль / норма) методом косинусного сходства.
- Конвертировать вес модели из формата OpenCLIP для интеграции в собственные исследовательские пайплайны нейровизуализации.
- Сравнивать качество представлений на очищенной выборке без утечек данных с базовым BiomedCLIP и моделью на полном датасете.
Пример
from huggingface_hub import hf_hub_download
checkpoint = hf_hub_download(
repo_id="KRMayD/tasa-brain-mri-td-v1-train5133-50ep",
filename="epoch_50.pt",
)
Подробнее
Метрики на тесте Figshare (6 128 входов): Macro AUROC — 78.24%, Macro FPR95 — 68.51%.Обучение: 50 эпох, batch size 32, AdamW (lr 5e-7), AMP, один GPU.
Ограничения: не поддерживается через стандартный
AutoModel без загрузчика OpenCLIP; результаты сегментации не заявлены; независимость на уровне пациентов не сертифицирована.









Комментарии