DSA vessel segmentation
сегментация сосудов в браузере
2 мин чтенияобновлено
Модель для бинарной сегментации сосудов головного мозга по изображениям цифровой субтракционной ангиографии (DSA). Она представляет собой пять фолдов (частей ансамбля) 2D nnU-Net v2, обученных с функцией потерь clDice и экспортированных в формат ONNX без изменения весов. Главная особенность модели — возможность запуска прямо в веб-браузере с помощью ONNX Runtime Web без отправки данных на сервер. Разработка предназначена для исследовательских целей и не является медицинским изделием.
Ключевые особенности
- Точная сегментация сосудов головного мозга на основе архитектуры nnU-Net v2.
- Полная совместимость с браузерами через ONNX Runtime Web с поддержкой WebGPU.
- Ансамбль из пяти фолдов для повышения точности результатов.
- Поддержка опциональной зеркальной аугментации при инференсе.
Что можно сделать
- Протестировать работу модели локально в браузере через демо-приложение.
- Интегрировать ONNX-модели в веб-сервисы для обработки медицинских изображений на стороне клиента.
- Настроить пайплайн предобработки и постобработки (Z-score, скользящее окно, Softmax) на Python или JavaScript.
Пример
Минимальный пример проверки одного патча на Python с использованием onnxruntime:
import numpy as np, onnxruntime as ort
s = ort.InferenceSession("vessel_seg_fold0.onnx")
x = np.zeros((1, 1, 896, 768), np.float32) # z-scored патч
logits = s.run(None, {"input": x})[0] # (1, 2, 896, 768)
vessel = logits[0, 1] > logits[0, 0]Подробнее
Фреймворк: nnU-Net v2 (конфигурация 2d, PlainConvUNet, 46.3 млн параметров на фолд).Формат файлов: vessel_seg_fold{0..4}.onnx (fp32, около 185 МБ каждый).
Производительность: обработка одного фолда на WebGPU занимает около 1.1 с, полный ансамбль из 5 фолдов — около 4.1 с.










Комментарии