P2Echo
сегментация сердца на УЗИ по текстовому промпту одной моделью
2 мин чтенияобновлено
P2Echo (Prompt2Echo) — исследовательская модель сегментации медицинских изображений: она выделяет на эхокардиограммах (УЗИ сердца) анатомические структуры, а нужную структуру и проекцию задаёт текстовый промпт. Вместо отдельной сети под каждый вид одна модель покрывает четыре стандартных эхо-вида (2CH, 3CH, 4CH, PSAX) и пять структур (LV, MYO, LA, RV, RA). Внутри работает модуль Dynamic Image-Text Alignment (DyITA): он адаптивно подстраивает признаки декодера под запрошенные вид и структуру. Авторы — Moein Heidari и коллеги, есть статья на arXiv, открытый код и проект-страница. Пригодится тем, кто занимается research в анализе медицинских изображений и автоматической разметке УЗИ сердца.
Ключевые особенности
- Управление текстом: структуру и вид задаёт структурированный view-aware промпт, отдельные модели под каждую проекцию не нужны
- Один чекпоинт на 4 эхо-вида (2CH, 3CH, 4CH, PSAX) и 5 структур (LV, MYO, LA, RV, RA)
- Модуль DyITA адаптивно связывает текстовый промпт с признаками декодера
- Официальные pretrained-веса в одном .pth-файле, код и установка через requirements.txt
Что можно сделать
- Прогнать свою эхо-выборку через одну модель вместо набора отдельных сегментаторов под каждый вид
- Сравнить с собственным бейзлайном на внешнем датасете — авторы проверяли модель на трёх held-out наборах
- Встроить в исследовательский пайплайн предразметки кадров УЗИ сердца перед ручной проверкой
- Поэкспериментировать с формулировками промптов: один и тот же вид и структура, разный текст на входе
Пример
git clone https://github.com/moeinheidari7829/P2Echo.git
cd P2Echo
pip install -r requirements.txt
# чекпоинт p2echo.pth кладём в checkpoints/p2echo.pth
Подробнее
Оценка: внутренний multi-view датасет и три внешних held-out набора, цифры, ablations и детали реализации — в статье arXiv:2611.13425.Веса — один файл checkpoints/p2echo.pth (Google Drive), нужен PyTorch.
Только для research: для клинических решений модель не валидирована.










Комментарии