Xinfu-Adapters
task heads для кожной классификации
1 мин чтенияобновлено
Набор локальных весов для экспериментов по классификации кожных изображений и клинического текста. Репозиторий от Ljh-hgf содержит только обученные task heads поверх замороженных энкодеров DermFM: варианты image-only, text-only и image+text для PAD, а также линейный классификатор для HAM10000.
Ключевые особенности
- В репозитории только task heads: PAD-головы для изображения, текста и мультимодального fusion, плюс HAM10000-голова на 7 классов.
- Базовые визуальный и текстовый энкодеры DermFM заморожены; их веса сюда не входят.
- Для PAD доступны отдельные чекпойнты image-only, text-only и image+text.
- HAM10000-эксперимент — линейный probe на замороженных признаках с Test Accuracy 89.29%.
- Для запуска нужен проект Jiderma и доступ к gated-модели DermFM-Zero.
Пример
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="Ljh-hgf/Xinfu-Adapters",
local_dir="xinfu-task-heads",
allow_patterns=["pad_multimodal/*/best.pt", "ham7_linear_head/*.pt", "checksums.json"],
)
Подробнее
PAD, test: image-only 80.00% accuracy, text-only 69.57%, image+text 83.48% (balanced accuracy 84.02%, macro F1 80.40%).HAM10000 linear probe: 89.29% accuracy, 79.34% balanced accuracy, 80.98% macro F1.
PAD-сплит содержит перекрытие пациентов между train/val/test; модель выбрана по validation.
Нужны DermFM-Zero с принятием условий, конфиг/токенизатор PubMedBERT и IlhaEmbed; код — CC BY-NC 4.0.










Комментарии