SonoIntent-Models
сегментация УЗИ-снимков по клиническим вопросам
2 мин чтенияобновлено
Набор из двух дообученных моделей (VRS-HQ и Sa2VA-14B) от автора QingboKang для задачи reasoning segmentation (сегментации с рассуждением) на ультразвуковых изображениях. На вход подаётся УЗИ-снимок и клинический вопрос, а на выходе модель формирует текстовое обоснование и бинарную маску нужной анатомической структуры в исходном разрешении. В основе лежат веса VRS-HQ (14,58 ГБ, bf16) и Sa2VA-14B (30,74 ГБ, fp16), обученные на клиническом бенчмарке SonoIntent. В отличие от обычных моделей сегментации, работающих только по названию класса, эти чекпоинты сначала анализируют медицинский запрос и находят целевую область по контексту. Релиз пригодится исследователям в области медицинского ИИ для воспроизведения результатов статьи и экспериментов с анализом ультразвука.
Ключевые особенности
- Два независимых чекпоинта: в репозитории лежат готовые веса VRS-HQ и Sa2VA-14B, полностью идентичные тем, что использовались в тестах научной статьи.
- Рассуждение перед выделением: модели генерируют текстовое объяснение (reasoning) до 384 токенов и одновременно строят бинарную маску целевой структуры.
- Визуализация и метрики из коробки: встроенные скрипты сразу сохраняют сравнительные панели из 4 кадров и считают Dice, IoU, precision и recall.
- Гибкий запуск: поддерживается инференс как на GPU, так и на CPU (можно раздельно указать устройства для vision- и LLM-частей в Sa2VA-14B).
Что можно сделать
- Протестировать качество выделения структур (например, головки плода или лобкового симфиза) на 6 готовых клинических примерах из папки
examples/cases. - Воспроизвести бенчмарк SonoIntent на публичной части датасета
SonoIntent-Annotations(16 869 задач из 7 открытых источников УЗИ). - Встроить пайплайн в исследовательский прототип для автоматической разметки и анализа УЗИ-снимков по текстовым запросам врача.
Пример
# Запуск VRS-HQ на одном тестовом примере
python VRS-HQ/test.py --limit 1
# Запуск Sa2VA-14B на одном тестовом примере
python Sa2VA-14B/test.py --limit 1
Подробнее
Метрики на полном тесте SonoIntent (22 870 задач): VRS-HQ — Overall Dice 50.82%, TargetAcc 40.18%, TA-Dice 33.50%; Sa2VA-14B — Overall Dice 48.40%, TargetAcc 98.59%, TA-Dice 47.51%.Требования: Python 3.10+, PyTorch 2.1+. Для VRS-HQ нужно ~15 ГБ RAM или GPU с 24 ГБ VRAM; для Sa2VA-14B — ~31 ГБ RAM или GPU на 40 ГБ (либо две карты по 24 ГБ).
При первом запуске VRS-HQ подгружает
openai/clip-vit-large-patch14 с Hugging Face.Ограничения: только для исследовательских целей, не является медицинским изделием. Лицензии весов: Apache-2.0 (с компонентами Llama-2 для VRS-HQ).










Комментарии