lmd-vitl-p8-simmim-lvd

Это 3D ViT-L энкодер от ai-hhmi для объёмной электронной и expansion-микроскопии с вокселями 8 нм. Архитектура DINOv3 ViT-L с патчами 8×8×8 и 303 млн параметров: веса стартовали с 2D DINOv3 ViT-L/16 (LVD-1689M), были инфлейтнуты в 3D и дообучены SimMIM на LMD — корпусе из 243 микроскопических объёмов.

🧩 Ключевые особенности

• 🔬 3D-энкодер для электронной и expansion-микроскопии; вход — один канал, оси (x, y, z), изотропные воксели 8 нм.
• 🧩 Архитектура DINOv3 ViT-L: 24 блока, ширина 1024, 16 голов, 3D rotary position embedding, 4 storage token; 303M параметров.
• ⚙ Инициализация из 2D DINOv3 ViT-L/16: 2D-ядро патча инфлейтнуто в 3D и уменьшено с 16 до 8 вокселей; затем 100k шагов SimMIM на LMD.
• 📀 patch_features(x) даёт нормализованные патч-токены последнего слоя и сетку; get_intermediate_layers(...) — карты признаков из любых блоков.
• 🧊 Вход: интенсивности в [0, 1], каждая сторона кратна 8 вокселям; обучение шло на окнах 256³, другие размеры не тестировали.
• 🦾 Энкодер — обычный torch.nn.Module, можно дообучать в своём цикле; аффинные модели авторов читают блоки [7, 15, 23] через UNETR-декодер.

⚡ Пример

root = Path(snapshot_download("ai-hhmi/lmd-vitl-p8-simmim-lvd"))
config = json.loads((root / "config.json").read_text())
encoder = DinoVisionTransformer3D(**config["model"]["kwargs"])
encoder.load_state_dict(load_file(root / "model.safetensors"))
x = torch.rand(1, 1, 128, 128, 128, device=device)
tokens, grid = encoder.patch_features(x)
maps = encoder.get_intermediate_layers(x, n=[7, 15, 23], reshape=True)
print(tuple(tokens.shape), grid, [tuple(m.shape) for m in maps])

Подробнее

Отдельных бенчмарков у энкодера нет: авторы оценивали его через файнтюн для аффинностей (lmd-vitl-p8-affinity-lvd), метрики сегментации нейронов — на странице той модели и в лидерборде.
Веса: fp32, 1.21 ГБ; для запуска нужны PyTorch 2.13, NumPy, safetensors, huggingface_hub и код mia-train (коммит 0fe3872).
Ограничения: 8 нм изотропные воксели, интенсивности [0,1], стороны кратны 8; обучение на 256³, другие размеры не тестировали. Лицензия DINOv3.