Panel2Patch

Опубликован чекпоинт vision-language модели из статьи «From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature» (CVPR 2026). Это OpenCLIP ViT-L/14, инициализированный от BMC-CLIP и обученный на биомедицинских иллюстрациях из научной литературы для zero-shot image classification.

👁 Ключевые особенности

• 👁 Три уровня image-text supervision без ручной аннотации: фигура целиком, субпанель и отмеченная область.
• ✅ База — BMC-CLIP; текстовый энкодер заморожен, обучаются последние 5 блоков изображения.
• 🔥 Это epoch 3 из 20-эпохального cosine schedule; файл содержит state_dict, номер эпохи и optimizer states.
• 💯 Zero-shot оценка на шести биомедицинских доменах: Biology, Dermatology, Microscopy, Ophthalmology, Pathology, Radiology.

😎 Пример

import open_clip, torch
model, _, preprocess = open_clip.create_model_and_transforms("ViT-L-14", pretrained=None)
sd = torch.load("panel2patch.pt", map_location="cpu")["state_dict"]
sd = {k[7:] if k.startswith("module.") else k: v for k, v in sd.items()}
model.load_state_dict(sd, strict=False)
tokenizer = open_clip.get_tokenizer("ViT-L-14")

Подробнее

Средняя zero-shot top-1 accuracy: 50.25% у Panel2Patch против 47.85% у BMC-CLIP; при переоценке кодом из репозитория — 50.37%.
Radiology: 65.07% против 59.15% у BMC-CLIP.
Оценка — EVVLM closed VQA, two caption styles pooled. Требования к VRAM в карточке не указаны.
При загрузке training-only модули игнорируются через strict=False.