Open-BarlowTwins ResNet-50

Open-BarlowTwins ResNet-50 — открытая 3D-модель из проекта nidl для извлечения признаков из МРТ головного мозга. Это 3D ResNet-50, предобученный методом Barlow Twins с использованием только nidl на открытых данных OpenMind; веса, код, рецепт обучения и данные опубликованы. Энкодер содержит 50,4M параметров и выдаёт 2048-мерные признаки.

🔥 Ключевые особенности

• 🧐 3D ResNet-50: вход 1×128×128×128, выход — 2048-мерные признаки.
• 🔥 Barlow Twins на 63 992 quasi-raw T1w/T2w/FLAIR от 31 775 участников из 787 наборов OpenNeuro.
• 💯 Препроцессинг: Resize до 121×145×121, CropOrPad до 128³, ZNormalization.
• 🚀 Обучение: 100 эпох, batch 64, bf16-mixed, одна NVIDIA H100; adamW, lr 1e-4.
• 👀 Веса включают энкодер и projection head — можно продолжать pretraining и файнтюнить.
• 🤗 Лицензия весов CC-BY 4.0; данные OpenMind сохраняют лицензии исходных наборов OpenNeuro.

🤖 Пример

Установка: pip install nidl[pretrained].

from torch.utils.data import DataLoader
from nidl.estimators.ssl import BarlowTwins

model = BarlowTwins.from_pretrained('nidl-neurospin/open-barlowtwins-resnet50')
preprocess = model.get_preprocessing()
loader = DataLoader([preprocess(v) for v in volumes], batch_size=4)
features = model.transform(loader)  # (n_volumes, 2048)

Подробнее

На тесте OpenBHB (757 участников) ridge regression на замороженных признаках предсказывает возраст с MAE 4,12 года и R² 0,71.
Ожидается quasi-raw МРТ: skull-stripped, bias-corrected, линейно зарегистрированная в MNI152 1 мм, форма 182×218×182.
Обучение: OpenMind train split, 100 эпох по 999 шагов, batch 64, bf16-mixed, одна H100.
Ограничение: пайплайн описан для quasi-raw T1w/T2w/FLAIR указанного формата; для других данных нужна отдельная проверка.