SemSketch: ALiBi DINOv3-S/16

Это image embedder для SemSketch — интерактивного инструмента сегментации микроскопических изображений. В основе DINOv3 ViT-S/16, у которого убрали rotary position embeddings и заменили общей ALiBi-биасом расстояния, а затем дистиллировали на OpenImages при 512 px в течение 20 эпох. Без абсолютных позиций плотные признаки остаются согласованными при произвольных размерах и кропах.

👁 Ключевые особенности

• 👁 База — DINOv3 ViT-S/16; RoPE заменён на ALiBi-биас.
• ✨ Плотные признаки согласованы при разных размерах изображения и кропах.
• 🤖 Дистилляция на OpenImages: 512 px, 20 эпох.
• 💻 Чекпоинт около 360 MB; внутри не только веса, но и optimizer state.
• 🕸 ALiBi-биас реализован в SemSketch (SharedAlibiBias), для совпадения с обучением нужен их загрузчик.

💻 Пример

import timm, torch
from huggingface_hub import hf_hub_download

path = hf_hub_download("radical-ai/semsketch", "alibi_dv3_vits16_best.pth")
model = timm.create_model("vit_small_patch16_dinov3.lvd1689m", pretrained=False, num_classes=0, dynamic_img_size=True)
state = torch.load(path, map_location="cpu", weights_only=True)["model"]
model.load_state_dict({key.removeprefix("model."): value for key, value in state.items()})
model.rope = None

Подробнее

Бенчмарков в карточке нет; чекпоинт — 359 784 265 байт (~360 MB), внутри также optimizer state.
Обучение: дистилляция на OpenImages, 512 px, 20 эпох.
Для признаков, совпадающих с обучением, нужен загрузчик SemSketch: ALiBi-биас реализован в SharedAlibiBias.
Лицензия — DINOv3 License (производная от весов Meta), не GPL SemSketch.