What-to-Preserve-Where-to-Adapt
3D nnU-Net чекпоинты против забывания при сегментации
2 мин чтенияобновлено
Набор предобученных весов и результатов оценки для научной работы об эффекте «забывания» в непрерывном обучении (continual learning) при сегментации гинекологических медицинских снимков. Модели построены на базе архитектуры 3D nnU-Net (v1, конфигурация 3d_fullres) с использованием фреймворка Lifelong nnU-Net от автора AmalSaqib. Вместо одного чекпоинта здесь собраны базовая модель и 38 экспериментальных прогонов адаптации под новые наборы данных (ECPC-IDS и UT-EndoMRI), включая варианты с поблочной калибровкой скорости обучения. Репозиторий пригодится исследователям в области медицинского компьютерного зрения для изучения катастрофического забывания нейросетей и воспроизведения экспериментов без необходимости заново обучать модели на GPU.
Ключевые особенности
- Архитектура 3D nnU-Net: все сети обучены в конфигурации
3d_fullresс помощью Lifelong nnU-Net до финальной 100-й эпохи (fold 0). - Полный набор экспериментов: в папке
results/лежит исходный чекпоинт (обученный на датасете UMD) и 38 вариантов его адаптации к новым задачам (ECPC-IDS и UT-EndoMRI). - Калибровка по блокам: для прогонов с адаптивным шагом обучения (scale-aware runs) приложены файлы
gradient_lr_calibration.jsonс откалиброванными множителями для блоков сети. - Готовые метрики качества: папка
evaluation/содержит файлыval_metrics_eval.jsonс расчётом метрик Dice и IoU по каждому случаю и классу, а также контрольные суммыSHA256SUMS.
Что можно сделать
- Воспроизвести таблицы из статьи без GPU: скачать чекпоинты и оценки, после чего запустить скрипт
reproducibility/summarize_questions.pyдля пересчёта забывания, Dice и смещения весов. - Изучить динамику весов при дообучении: проанализировать, какие блоки 3D nnU-Net сильнее всего меняются при адаптации к новым медицинским датасетам и как помогает разный learning rate для слоёв.
- Использовать как отправную точку для экспериментов: взять базовый чекпоинт UMD в качестве стартовых весов для собственных тестов непрерывной сегментации в Lifelong nnU-Net.
Пример
git clone [https://github.com/AmalSaqib/What-to-Preserve-Where-to-Adapt](https://github.com/AmalSaqib/What-to-Preserve-Where-to-Adapt) && cd What-to-Preserve-Where-to-Adapt
hf download AmalSaqib/What-to-Preserve-Where-to-Adapt --local-dir hf
export RESULTS_FOLDER=$PWD/hf/results EVALUATION_FOLDER=$PWD/hf/evaluation
SEQ=nnUNet_ext/3d_fullres/Task666_UMD_Task555_ECPC_Task778_EndoMRI_T1FS/Task666_UMD/nnUNetTrainerSequential__nnUNetPlansv2.1/Generic_UNet/SEQ
export PAPER_INIT_CHECKPOINT=$RESULTS_FOLDER/$SEQ/fold_0
export PAPER_BASELINE_UMD_EVAL=$EVALUATION_FOLDER/$SEQ/head_Task666_UMD/fold_0/Task666_UMD/val_metrics_eval.json
python reproducibility/summarize_questions.py
Подробнее
Обучение: 100 эпох (fold 0) на базе Lifelong nnU-Net, базовый датасет UMD и адаптация на ECPC-IDS и UT-EndoMRI.Данные: сами медицинские изображения и разметка в репозиторий не включены, только веса (
.model, .pkl) и метрики Dice/IoU.Безопасность: чекпоинты сохранены в формате PyTorch pickle, а
.pkl содержат исходные локальные пути обучения.Лицензия: CC BY-NC 4.0 (только для некоммерческих научных исследований).










Комментарии