M3D-CLIP-CrossModal-MRI-CT

Специализированный 3D Vision Transformer от anuragpradhan на базе GoodBaiBai88/M3D-CLIP. Модель учится переносить 3D-MRI в латентное пространство CT, чтобы убрать доменный разрыв между модальностями. Это feature-extraction энкодер примерно на 198M параметров, обученный на парах медицинских объёмов.

🔤 Ключевые особенности

• ➕ 3D ViT-Base: вход (B, 1, 32, 256, 256), патчи 4×16×16, 12 слоёв, hidden 768, около 198M параметров.
• ➖ Два уровня признаков: [CLS] (B, 768) для retrieval и классификации плюс 2048 patch-токенов (B, 2048, 768) для плотного 3D-сигнала.
• ▶ Teacher-student: замороженный CT-энкодер M3D-CLIP выступает учителем, MRI-энкодер — студентом; используется InfoNCE с memory bank K=1024 и τ=0.07.
• 🔜 Применения: conditioning для MRI-to-sCT диффузии, cross-modal retrieval, бэкбон для 3D-сегментации и регистрации, нормализация разных MRI-протоколов.

🟰 Пример

from transformers import AutoModel
import torch
model = AutoModel.from_pretrained("anuragpradhan/M3D-CLIP-CrossModal-MRI-CT", trust_remote_code=True).eval()
mri = torch.randn(1, 1, 32, 256, 256)
with torch.no_grad():
    feats = model.encode_image(mri)  # (1, 2049, 768)
cls = feats[:, 0]  # глобальный эмбеддинг (1, 768)
print(cls.shape)

Подробнее

Бенчмарк MRI→CT retrieval: Top-1 0.353 (val) / 0.800 (test), Top-5 0.725 / 0.967; median rank 1.0; same-patient cosine 0.654 ± 0.07.
У базового M3D-CLIP zero-shot на MRI Top-1 был 0.033, median rank 14.5.
Обучение: 295 пар (SynthRAD2025 + Gold Atlas), 51 пара для валидации; trainable около 63.8M.
Только research use, не для клинической диагностики; вход нужно интерполировать до (32, 256, 256) и нормализовать в [0, 1].