MM-PET-AI
единая модель сегментации очагов на ПЭТ/КТ
2 мин чтенияобновлено
Модель выполняет автоматическую сегментацию (выделение контуров) патологических очагов по всему телу на снимках ПЭТ/КТ сразу для трёх радиофармпрепаратов: ¹⁸F-FDG, ¹⁸F/⁶⁸Ga-PSMA и ⁶⁸Ga-DOTATATE. На вход подаётся пара файлов в формате NIfTI (ПЭТ в единицах SUV и КТ в HU), а на выходе получается бинарная маска очагов, вероятность их наличия на снимке, статистика и вспомогательное предсказание типа препарата. В основе лежат асимметричные энкодеры ViT-Base для ПЭТ и ViT-Small для КТ, свёрточная ветка для сохранения мелких деталей и общий декодер UNETR (архитектура для 3D-сегментации медицинских изображений). В отличие от узкоспециализированных решений, система работает без предварительного указания метки радиофармпрепарата или масок органов. Инструмент предназначен для исследователей в области медицинской визуализации и онкологии (только для научных целей, не является медицинским изделием).
Ключевые особенности
- Двусторонний обмен контекстом между энкодерами ViT-Base (ПЭТ) и ViT-Small (КТ) на четырёх уровнях глубины плюс локальная свёрточная ветка для мелких деталей.
- Не требует указывать тип радиофармпрепарата или загружать маски органов при запуске.
- Готовый CLI-интерфейс и Python-пакет
mmpetaiс автоматической загрузкой и кэшированием весов. - Обучена на 2 814 публичных и клинических ПЭТ/КТ-исследованиях по 14 протоколам, охватывающих разные типы опухолей.
Что можно сделать
- Автоматизировать разметку очагов и сбор статистики по ним в научных исследованиях по онкологии (опухоли головы и шеи, рак простаты, нейроэндокринные опухоли и др.).
- Проводить пакетную обработку директорий со снимками в формате NIfTI через утилиту командной строки
mmpetai. - Использовать в качестве базового решения для сравнения алгоритмов сегментации на мультитрейсерных наборах данных ПЭТ/КТ.
Пример
from mmpetai import MMPETAI
model = MMPETAI.from_pretrained("zhanghaoyue/MM-PET-AI")
result = model.predict("pet.nii.gz", "ct.nii.gz")
result.save("lesions.nii.gz")
print(result.lesion_summary)
Подробнее
Параметры: ~0.2B (ViT-Base + ViT-Small + UNETR).Препроцессинг и инференс: изотропный ресемплинг 3 мм, скользящее окно 192³ с перекрытием 33%, порог 0.5.
Ограничения: только для исследовательских целей; предсказание типа трейсера не переносится на внешнюю выборку DEEP-PSMA, оценка на DOTATATE ограничена 28 внутренними тестами, снижена точность на мелких очагах с низким накоплением.










Комментарии