hybrid-radiograph-feature-fusion
гибридные модели для анализа рентгенограмм грудной клетки
1 мин чтенияобновлено
Набор предобученных PyTorch-чекпоинтов для классификации медицинских снимков, объединяющий современные нейросетевые архитектуры (ConvNeXt-Tiny и Swin Transformer-T) с классическими компьютерными дескрипторами (HOG, LBP, Gabor и SIFT-BoVW). Модель решает задачу бинарной классификации рентгенограмм лёгких на основе датасета Kermany Pediatric Chest X-Ray Cohort. Гибридный подход позволяет повысить точность за счёт совместного извлечения глубоких и текстурных признаков изображения. Решение будет полезно исследователям и разработчикам в области медицинской диагностической визуализации.
Ключевые особенности
- Объединение нейросетевых бэкбонов (ConvNeXt-Tiny и Swin-T) с классическими дескрипторами изображений
- Предобученные веса для различных стратегий слияния признаков (конкатенация, Gated Cross-Modal, Token Attention)
- Протестировано на датасете детских рентгенограмм грудной клетки (225 тестовых изображений)
- Полная совместимость с экосистемой PyTorch и утилитами Hugging Face Hub
Что можно сделать
- Интегрировать предобученные веса в пайплайны автоматизированного анализа рентгенограмм
- Провести сравнительный анализ эффективности глубоких и гибридных признаков в медицинском CV
- Запустить инференс нужного чекпоинта с помощью предоставленного скрипта загрузки
Пример
import torch
from huggingface_hub import hf_hub_download
from src.models import HybridMedicalClassifier
ckpt_path = hf_hub_download(
repo_id="subhan1501/hybrid-radiograph-feature-fusion",
filename="exp6_swin_sift.pth",
)
model = HybridMedicalClassifier(
backbone_name="swin_t",
fusion_type="token_attention",
hand_dim=208,
embed_dim=256,
num_classes=2,
pretrained=False,
)
model.load_state_dict(torch.load(ckpt_path, map_location="cpu"))
model.eval()Подробнее
• Точность на тесте: до 94.22% (exp1_convnext_baseline.pth)• Датасет: Kermany Pediatric Chest X-Ray Cohort (1500 снимков: 70% Train / 15% Val / 15% Test)
• Предобработка: Symmetric CLAHE (clipLimit=2.0, tileGrid=(8, 8))
• Лицензия: MIT License










Комментарии