USFM

USFM (Universal Ultrasound Foundation Model) — порт в transformers от Larxel. Веса официального checkpoint openmedlab/USFM перенесены в BeitModel; размер — около 90M параметров. Модель предназначена для извлечения признаков из ультразвуковых изображений.

🤖 Ключевые особенности

• 🤖 Порт для transformers: загрузка через AutoImageProcessor и AutoModel.
• 📓 Архитектура BeitModel; last_hidden_state имеет размер [1, 197, 768].
• 👁 Задача — image-feature-extraction для ультразвуковых изображений.
• ⭐ Около 90M параметров — относительно компактная foundation-модель.
• 💻 Пример использует PyTorch и PIL; изображение приводится к RGB.

💻 Пример

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
processor = AutoImageProcessor.from_pretrained("Larxel/USFM")
model = AutoModel.from_pretrained("Larxel/USFM")
image = Image.open("ultrasound.png").convert("RGB")
inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
patch_embeddings = outputs.last_hidden_state

Подробнее

Веса перенесены из официального checkpoint USFM_latest.pth репозитория openmedlab/USFM в BeitModel.
Размер — около 0,09 млрд параметров.
В карточке нет бенчмарков, данных о VRAM и ограничениях.
Публикация: Medical Image Analysis, 2024, DOI 10.1016/j.media.2024.103202.