Brain MRI Multimodal Benchmark
бенчмарк анализа МРТ
1 мин чтенияобновлено
Комплексный набор из 155 чекпоинтов и кода для мультимодальной классификации заболеваний по клиническим описаниям и МРТ снимкам головы. Модель сочетает текстовый энкодер BiomedBERT и визуальный BiomedCLIP, оценивая вклад каждого компонента в итоговый диагноз. Исследование показывает, как текстовый контекст влияет на точность распознавания медицинских данных. Набор предназначен для исследователей в сфере медицинского искусственного интеллекта.
Ключевые особенности
- 155 чекпоинтов: охватывает различные сидированные запуски и комбинации модальностей.
- Мультимодальный подход: объединяет текстовые отчеты, изображения МРТ и табличные данные.
- Продвинутая архитектура: использует файнтюненные энкодеры с поздним слиянием (late fusion).
- Проверенная база: обучение на датасете MultiCaRe с разделением по годам публикаций.
Что можно сделать
- Запустить готовые пайплайны классификации медицинских кейсов с помощью скрипта mm_release.py.
- Исследовать влияние текстовых подсказок и изображений МРТ на точность моделей.
- Тестировать отдельные энкодеры для анализа признаков из открытых клинических отчетов.
Пример
from huggingface_hub import snapshot_download
import sys
d = snapshot_download('Kashif-Mahmood007/brainmri-casereport-multimodal-benchmark')
sys.path.insert(0, d)
import mm_release as R
m = R.load_best_model(seed=42)
p = R.predict_best_model(m, text=text, images=images, age=54, sex='F')
print(dict(zip(R.CLASS_NAMES, p.round(3))))Подробнее
Бенчмарки: лучший макро-F1 на внутреннем тесте составляет 0.559.Требования: объем весов около 4.2 ГБ на диске.
Ограничения: только для исследовательских целей, слабые метки из заголовков.
Данные: обучение на 1,542 пациентах из открытого корпуса MultiCaRe.










Комментарии