LaUER

LaUER — набор исследовательских чекпоинтов, которые учат объединённое представление сигнала ЭКГ и изображения для выявления заболеваний и интерпретации с помощью клинического языка на трёх уровнях детализации. Этапы кумулятивные: SGL, SGL_CGL и SGL_CGL_TGL.

🔍 Ключевые особенности

• ✔ SGL — выравнивание сигнала, изображения и клинического текста.
• ⚙ SGL_CGL — fusion сигнала и изображения, matching и query-guided tracing.
• 📝 SGL_CGL_TGL — авторегрессионная генерация отчёта и объяснений.
• 📌 Чекпоинты и YAML-конфиги собраны в checkpoints.json; целостность проверяется через SHA256SUMS.
• ⚠ Это research artifacts: логи обучения и метрики не входят в релиз.

⚙ Пример

python inference.py \
  --config release/configs/seed42/LaUER_SGL_CGL_TGL.yaml \
  --checkpoint release/checkpoints/seed42/LaUER_SGL_CGL_TGL.pt \
  --signal /path/to/record.mat \
  --image /path/to/record.png \
  --device cuda

Подробнее

Три кумулятивных этапа: SGL → SGL_CGL → SGL_CGL_TGL.
Для загрузки нужна реализация LaUER и замороженные MedCPT Article/Query Encoder в weights/.
Требования к VRAM не указаны; пример запуска использует --device cuda.
Оригинальные training logs и метрики вне релиза — бенчмарков в карточке нет.