HoloCT-8B

HoloCT-8B от Alibaba DAMO Academy — старшая модель семейства HoloCT на языковом бэкбоне Qwen3-VL-8B (9,04 млрд параметров). На вход принимает 3D-объём КТ в NIfTI и текстовый промпт на английском, а на выходе даёт текст и, для grounding-запросов, 3D-бинарные маски. Задачи: скрининг поражений, VQA, генерация отчётов и сегментация.

🔍 Ключевые особенности

• 🔍 Единая интерпретация КТ: скрининг поражений, VQA и генерация отчётов по текстовому промпту.
• 📌 Grounded-генерация: текстовые находки связываются с воксельными 3D-масками.
• 🗺 Сегментация по свободному тексту: анатомические цели и находки, описанные в промпте.
• ⚙ Архитектура: глобальный энкодер на базе Med3DVLM, детальный энкодер на базе VISTA3D, языковой бэкбон и 3D mask decoder.
• 🔄 Парный инференс: в демо можно сравнить grounded- и ungrounded-ответы на одном КТ.

💻 Пример

CUDA_VISIBLE_DEVICES=0 python -m inference.scripts.demo_vqa \
  --model weights/HoloCT-8B \
  --ct demo_ct/my_ct.nii.gz \
  --prompt "Is there a liver lesion?" \
  --grounded-prompt "Is there a liver lesion? Ground your answer with the mask." \
  --output outputs/holoct_8b_vqa

Подробнее

Бенчмарки: в карточке приведены только примеры метрик — Dice, HD95, качество текста и grounded-отчётов — без итоговых цифр.
Железо: Ubuntu 22.04, Python 3.10.16, NVIDIA GPU с bfloat16; демо идут на одной GPU через PyTorch SDPA. VRAM не указан.
Ограничения: промпты на английском, вход — 3D-КТ в NIfTI в единицах Хаунсфилда.
Генерация: до 1024 новых токенов, seed 42; для отчётов temperature 0.15, top-p 0.85. Лицензия MIT.