К содержимому
Другое

cxr-landmarks

разметка 311 анатомических точек и 177 структур на рентгене грудной клетки

2 мин чтенияобновлено

Модель анализирует фронтальные и боковые рентгеновские снимки грудной клетки, одновременно определяя координаты 311 именованных анатомических ориентиров и сегментационные маски для 177 структур. В основе лежит энкодер RAD-DINO ViT-B/14 (0,11 млрд параметров), дообученный вместе с двумя декодерами деконволюции для тепловых карт точек и масок классов. В отличие от моделей, решающих только задачу сегментации или поиска отдельных ключевых точек, здесь обе задачи объединены в одной компактной архитектуре. Инструмент пригодится исследователям и разработчикам в области медицинского компьютерного зрения (строго для научных задач, не для клинической диагностики).

Ключевые особенности

  • Одновременное предсказание 311 семантических ориентиров (с декодированием методом DARK) и масок 177 анатомических структур.
  • Построена на базе медицинского энкодера microsoft/rad-dino (ViT-B/14), работает с RGB-изображениями с меньшей стороной 512 пикселей.
  • Интегрирована в библиотеку CXAS и собственный пакет cxr-landmarks с проверкой контрольных сумм SHA256SUMS.
  • Открытая лицензия MIT и опубликованный код обучения и генерации разметки.

Что можно сделать

  • Автоматически размечать анатомические ориентиры и органы на фронтальных и боковых рентгенограммах в исследовательских пайплайнах.
  • Использовать как базовый бэкбон или генератор геометрических признаков для анализа медицинских изображений на датасетах уровня MIMIC-CXR или PAXRay++.
  • Встроить в инструменты на базе CXAS для быстрой предварительной сегментации грудной клетки.

Пример

from cxrlandmarks.predict import LandmarkPredictor

predictor = LandmarkPredictor.from_pretrained("cmseibold/cxr-landmarks")
out = predictor.predict("chest_xray.png", view="frontal")
ПодробнееМетрики на PAXRay++ (test): OKS-AP 36.8, PCK@0.1 80.6, Mask AP 52.4.
Метрики на реальных снимках MIMIC-CXR: OKS-AP 51.1, PCK@0.1 76.7, средняя ошибка MRE 14.2 px (при разрешении 512×512).
Обучение: 18 эпох (выбран чекпоинт 16-й эпохи) на синтетических проекциях КТ из PAXRay++.
Ограничения: при запуске нужно явно указывать проекцию (frontal или lateral); модель предсказывает по одному экземпляру на структуру и не калибрует уверенность точек.
Обсудить Telegram 0 23

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 0.4 GB · готовые файлы0.9 GB
  • BF16веса 0.2 GB0.7 GB
  • FP8 / INT8рекомендуемвеса 0.1 GB0.6 GB
  • 4-bitвеса 0.1 GB0.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # cmseibold/cxr-landmarks
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download cmseibold/cxr-landmarks --local-dir ~/models/cxr-landmarks
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к cxr-landmarks
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

microsoft/rad-dino

Новые посты про версии rad-dino — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 2Все на Hugging Face
Дообучения 5Все на Hugging Face
Слияния 2Все на Hugging Face

О модели

cmseibold/cxr-landmarks
Автор
cmseibold
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

230

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии