pneumonia-cxr-convnext
поиск пневмонии на рентгене прямо в браузере
2 мин чтенияобновлено
Бинарный классификатор на базе архитектуры ConvNeXt-Tiny (предобученной на ImageNet-22k), который определяет наличие пневмонии на фронтальных рентгеновских снимках грудной клетки. Модель упакована в формат ONNX и за один проход выдаёт сразу два результата: откалиброванную вероятность диагноза и тепловую карту Grad-CAM (подсветку областей снимка, на которые опиралась нейросеть). В граф уже вшиты нормализация входа и температурное масштабирование, поэтому модель легко запускается без тяжелых зависимостей как на сервере, так и локально в браузере. Подойдёт исследователям, разработчикам медицинских прототипов и студентам, которым важна интерпретируемость предсказаний.
Ключевые особенности
- Работает в браузере: компактный ONNX-файл (
model_browser.onnx) с весами в float16 готов для запуска в ONNX Runtime без бэкенда. - Встроенный Grad-CAM: тепловая карта внимания вычисляется прямо внутри графа за один проход; в 76,5% случаев её пики попадают в зоны, отмеченные рентгенологами.
- Калибровка вероятностей: в граф включено temperature scaling, а в файле
model_meta.jsonзафиксирован оптимальный порог срабатывания (0.576). - Обучена на двух датасетах: дообучена на 24 928 снимках из детских (Kermany et al.) и взрослых (RSNA 2018) баз с разделением строго по пациентам.
Что можно сделать
- Встроить в веб-приложение или образовательный тренажёр для визуализации работы алгоритмов компьютерного зрения на медицинских снимках с подсветкой зон интереса.
- Использовать как лёгкий бейзлайн в исследовательских пайплайнах анализа рентгенограмм грудной клетки через
onnxruntime.
Пример
import json, numpy as np, onnxruntime as ort
from PIL import Image
meta = json.load(open("model_meta.json"))
img = Image.open("cxr.png").convert("L").resize((256, 256), Image.BILINEAR).resize((224, 224), Image.BILINEAR)
x = (np.asarray(img, dtype=np.float32) / 255)[None, None]
prob, cam = ort.InferenceSession("model_browser.onnx").run(None, {"image": x})
print(prob[0], prob[0] >= meta["threshold"])
Подробнее
Метрики на отложенных тестах: AUROC 0.990 (чувствительность 0.995, специфичность 0.838) на детских снимках Kermany и AUROC 0.890 (чувствительность 0.691, специфичность 0.878) на взрослых снимках RSNA.Ограничения: модель не является медицинским изделием и предназначена только для исследований и обучения.
Обучена на данных всего двух госпиталей; единый порог даёт более низкую чувствительность на взрослых пациентах (особенно 60+) и на снимках в проекции PA.










Комментарии