1⃣ 3D Brain Tumor Segmentation
3D-сегментация опухолей мозга в ONNX
2 min readupdated
Набор из трёх трёхмерных нейросетей от автора MohammadSakibHossain, которые выделяют границы опухоли головного мозга по четырём снимкам МРТ (FLAIR, T1, T1 с контрастом и T2). На выходе модель строит 3D-маску с тремя вложенными областями: вся опухоль с отёком (WT), ядро опухоли (TC) и активная растущая часть (ET). Все три архитектуры — SegResNet (4,7M параметров), Swin UNETR (62,2M) и лёгкий трансформер SegFormer3D (4,5M) — экспортированы в формат ONNX для быстрого запуска на обычном процессоре (CPU). Репозиторий пригодится исследователям и разработчикам медицинских сервисов для экспериментов с 3D-визуализацией и пайплайнами анализа МРТ.
Ключевые особенности
- Три модели под разные задачи: компактная SegResNet (19 МБ) с лучшим балансом точности и скорости, тяжёлая Swin UNETR (249 МБ) и сверхбыстрая SegFormer3D (18 МБ).
- Экспорт в ONNX (opset 18) с высокой точностью совпадения масок с оригиналом на PyTorch (Dice 0.983–0.998) и без необходимости в видеокарте.
- Готовые тестовые данные в комплекте: 4 набора сканов с разметкой экспертов (
samples/) и 6 кейсов в виде 3D-мешей glTF для веб-просмотрщика (cases/). - Подробные метаданные из MLflow с конфигурацией обучения, контрольными суммами и замерами скорости на 2 и 8 потоках CPU.
Что можно сделать
- Протестировать сегментацию на приложенных снимках МРТ (например,
BRATS_075.nii.gz) прямо на CPU с помощьюonnxruntimeи библиотекиmonai. - Развернуть локальное веб-приложение с загрузчиком снимков и 3D-просмотрщиком через Docker из связанного GitHub-репозитория.
- Сравнить скорость и качество свёрточной архитектуры (SegResNet) и 3D-трансформеров на собственных предобработанных данных.
Пример
import onnxruntime as ort
from huggingface_hub import hf_hub_download
repo = "MohammadSakibHossain/brain-tumor-segmentation-mlops"
session = ort.InferenceSession(hf_hub_download(repo, "models/segresnet.onnx"))
# На вход подаётся окно [1, 4, 160, 160, 160] (FLAIR, T1, T1c, T2)
logits = session.run(None, {"scans": window_np})[0]
Подробнее
Метрики на тесте (72 снимка, Mean Dice): SegResNet — 0.835 (7.1 с / 3.0 с на CPU при 2/8 потоках), Swin UNETR — 0.835 (31.3 с / 14.2 с), SegFormer3D — 0.813 (1.4 с / 0.8 с).Обучение: датасет Medical Segmentation Decathlon Task01 BrainTumour (484 снимка BraTS 2016/2017), 30 000 шагов на одной NVIDIA RTX A6000.
Ограничения: только для исследований и обучения (не медицинское изделие); входные МРТ должны быть очищены от черепа (skull-stripped) и приведены к разрешению ~1 мм.










Comments