cxr-landmarks
разметка 311 анатомических точек и 177 структур на рентгене грудной клетки
2 min readupdated
Модель анализирует фронтальные и боковые рентгеновские снимки грудной клетки, одновременно определяя координаты 311 именованных анатомических ориентиров и сегментационные маски для 177 структур. В основе лежит энкодер RAD-DINO ViT-B/14 (0,11 млрд параметров), дообученный вместе с двумя декодерами деконволюции для тепловых карт точек и масок классов. В отличие от моделей, решающих только задачу сегментации или поиска отдельных ключевых точек, здесь обе задачи объединены в одной компактной архитектуре. Инструмент пригодится исследователям и разработчикам в области медицинского компьютерного зрения (строго для научных задач, не для клинической диагностики).
Ключевые особенности
- Одновременное предсказание 311 семантических ориентиров (с декодированием методом DARK) и масок 177 анатомических структур.
- Построена на базе медицинского энкодера
microsoft/rad-dino(ViT-B/14), работает с RGB-изображениями с меньшей стороной 512 пикселей. - Интегрирована в библиотеку CXAS и собственный пакет
cxr-landmarksс проверкой контрольных сумм SHA256SUMS. - Открытая лицензия MIT и опубликованный код обучения и генерации разметки.
Что можно сделать
- Автоматически размечать анатомические ориентиры и органы на фронтальных и боковых рентгенограммах в исследовательских пайплайнах.
- Использовать как базовый бэкбон или генератор геометрических признаков для анализа медицинских изображений на датасетах уровня MIMIC-CXR или PAXRay++.
- Встроить в инструменты на базе CXAS для быстрой предварительной сегментации грудной клетки.
Пример
from cxrlandmarks.predict import LandmarkPredictor
predictor = LandmarkPredictor.from_pretrained("cmseibold/cxr-landmarks")
out = predictor.predict("chest_xray.png", view="frontal")
Подробнее
Метрики на PAXRay++ (test): OKS-AP 36.8, PCK@0.1 80.6, Mask AP 52.4.Метрики на реальных снимках MIMIC-CXR: OKS-AP 51.1, PCK@0.1 76.7, средняя ошибка MRE 14.2 px (при разрешении 512×512).
Обучение: 18 эпох (выбран чекпоинт 16-й эпохи) на синтетических проекциях КТ из PAXRay++.
Ограничения: при запуске нужно явно указывать проекцию (frontal или lateral); модель предсказывает по одному экземпляру на структуру и не калибрует уверенность точек.










Comments