lmd-vitl-p8-affinity-lvd

Модель от ai-hhmi предсказывает воксельные аффинности для сегментации нейронов в 3D-данных электронной и expansion-микроскопии с шагом 8 нм. Это файнтюн энкодера DINOv3 ViT-L с 8³-воксельными патчами (303 млн параметров) и UNETR-декодером на 1,85 млн параметров. Чекпоинт после 100 тыс. шагов обучения на 41 размеченном объёме.

🔍 Ключевые особенности

• ⚡ Энкодер стартовал с lmd-vitl-p8-simmim-lvd: DINOv3 LVD-1689M, затем SimMIM на LMD.
• 📌 Выход — 6 каналов аффинностей со смещениями (1,0,0), (0,1,0), (0,0,1), (10,0,0), (0,10,0), (0,0,10).
• ⚙ Вход — один канал (x, y, z), изотропные воксели 8 нм, интенсивности [0, 1], каждая сторона кратна 8.
• 🔍 Обучение end-to-end с UNETR-декодером: 100 тыс. шагов, 41 размеченный объём, BCE по 6 логитам.
• 🖥 Веса fp32, 1.22 ГБ; энкодер лежит под encoder. и его можно переиспользовать отдельно.
• ⚠ Лицензия DINOv3: модель — производная от весов Meta DINOv3, публикации должны ссылаться на DINOv3.

💻 Пример

from pathlib import Path
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
root = Path(snapshot_download("ai-hhmi/lmd-vitl-p8-affinity-lvd"))
config = json.loads((root / "config.json").read_text())
net = AffinityNet(config)
net.load_state_dict(load_file(root / "model.safetensors"))
net = net.to("cuda").eval()

Подробнее

PQ: 0.300 на crop512, 0.277 на whole volumes.
Веса fp32, 1.22 ГБ; энкодер 303 млн + декодер 1,85 млн параметров.
Нужны PyTorch, safetensors, huggingface_hub и mia-train (коммит 0fe3872); VRAM не указана.
Вход: 8 нм, [0,1], стороны кратны 8; другие размеры не тестировали.
Лицензия DINOv3 — производная от весов Meta DINOv3.