Brain Tumor Classifier

Демонстрационный классификатор МРТ мозга от david-b59: ResNet-50 (~20 млн параметров) относит снимок к одной из четырёх категорий — glioma, meningioma, pituitary или notumor — и строит карту Grad-CAM. Это не медицинский прибор: клинической валидации нет, использовать для диагностики нельзя.

⚙ Ключевые особенности

• 📸 Вход — изображение 224×224, RGB, нормализация ImageNet; на выходе 4 класса и вероятности.
• 🗂 Есть model.safetensors и model.onnx (94 МБ) для браузера; ONNX возвращает probs и cams.
• 🔍 Grad-CAM считается без градиента, так как последний слой — линейный после average pooling.
• 🛡 Обучение: ResNet-50 ImageNet, сначала новая голова, затем разморозка layer4; аугментация, Adam, выбор по validation loss.
• ❗ В карточке честно описаны ошибки: 44 опухоли классифицированы как notumor, а Grad-CAM иногда смотрит вне опухоли.

🧑‍💻 Пример

from PIL import Image
from brain_mri.predict import Predictor

predictor = Predictor.from_hub("david-b59/brain-tumor-classifier")
resultat = predictor.predict(Image.open("irm.jpg"))
print(resultat.predicted_class, resultat.probabilities)

Подробнее

Тест: accuracy 94,4% на 1 584 изображениях; validation — 97,7%, но она использовалась для выбора модели.
Хуже всего glioma: recall 83,7%; 44 опухоли (glioma и meningioma) классифицированы как notumor.
ONNX 94 МБ; int8-версия 24 МБ тестировалась, но accuracy упала на 1,07 п.п. (94,38% → 93,31%).
Ограничения: один источник данных, только 2D-срезы, нет данных о пациентах и протоколах; возможны почти-дубликаты.