*⃣ artifact-aware-mil-prostate
MIL-модели для градации биопсии простаты
2 min readupdated
Набор из 30 обученных голов множественного обучения с примерами (MIL — подход для анализа гигантских медицинских снимков по набору мелких фрагментов), которые определяют группу градации по шкале ISUP (от 0 до 5) по гистологическим слайдам биопсии простаты. Модели от команды PathOS-Code не обрабатывают изображения напрямую, а принимают заранее извлечённые эмбеддинги фрагментов из базового энкодера Virchow2 и показатель пространственной дисперсии для фильтрации артефактов. В релиз вошли все участники ансамблей из профильной научной статьи с разными архитектурами агрегации (двухслойная TransMIL-style и ABMIL) и функциями потерь (focal и порядковая CORAL). Разработка пригодится исследователям в области цифровой патологии и машинного обучения в медицине для воспроизведения экспериментов и оценки слайдов.
Ключевые особенности
- 30 готовых чекпоинтов: по 5 сидов или фолдов для 6 конфигураций ансамблей, включая варианты с гейтированием артефактов и без него.
- Две архитектуры агрегации: компактные модели ABMIL (по 6 МБ) и двухслойные TransMIL-style (по 163 МБ), общий вес архива около 4,1 ГБ.
- Порядковая классификация: помимо стандартного подхода с focal loss (6 логитов), доступны модели с CORAL (5 пороговых логитов) для учёта порядка классов ISUP.
- Опора на Virchow2: работают строго с CLS-токенами размерности 1280, полученными из патчей 256×256 пикселей после нормализации окрашивания по Маченко.
Что можно сделать
- Провести ансамблевую оценку гистологических слайдов биопсии простаты на датасете PANDA или собственных когортах с помощью скриптов из репозитория PathOS-Code.
- Построить тепловые карты внимания (attention heatmaps) по координатам патчей, чтобы увидеть, какие участки ткани сильнее всего повлияли на итоговую оценку ISUP.
- Сравнить качество классификации и перенос между доменами для архитектур TransMIL и ABMIL, а также функций потерь focal и CORAL.
Пример
hf download PathOS-Code/artifact-aware-mil-prostate --local-dir weights
uv run python scripts/evaluation/ensemble_eval.py \
--exp-dirs weights/virchow2_transmil_focal_fullgate_5seed/seed{0,1,2,3,4} \
--embeddings-dir outputs/embeddings_virchow2 \
--labels-csv data/panda_labels.csv \
--out outputs/ensembles/panda_focal_fullgate_5seed.json
Подробнее
Метрики (QWK): на тесте PANDA (1061 слайд) лучший ансамбль TransMIL-style (focal, full gate) показал 0.9134; при прямом переносе на внешние когорты CORAL-ансамбли достигли 0.8772 на SICAPv2 и 0.8109 на CrowdGleason.Ограничения: веса самого энкодера
paige-ai/Virchow2 в комплект не входят (нужен отдельный доступ); модели предсказывают только общую оценку слайда, без сегментации паттернов Глисона.Примечание авторов: статистически значимого эффекта от самого механизма гейтирования артефактов на парных интервалах не выявлено.
Лицензия: CC BY-NC-SA 4.0 (только для некоммерческого использования).










Comments