METTLE 1.5

METTLE 1.5 — это robustness fine-tune модели H-optimus-0 от Slideflow Labs для извлечения признаков из гистопатологических тайлов. Модель на 1,14 млрд параметров построена на ViT-g/14 с четырьмя register-токенами и CLS refinement head. Цель — повысить согласованность представлений между разными сканерами и вариантами окрашивания, сохраняя биологически полезную морфологию.

🧐 Ключевые особенности

• 🤖 Дообучена на базе H-optimus-0 для feature extraction в гистопатологии.
• 🧐 Архитектура ViT-g/14: четыре register-токена и CLS refinement head.
• 👀 На вход подаётся RGB-тайл 224 × 224; по умолчанию возвращается refined CLS-эмбеддинг размерности 1 536.
• 🚀 Опционально можно получить 3 072-мерный вариант: refined CLS + mean spatial-patch embedding.
• 🔥 Веса лежат в model.safetensors, исходные значения и точность сохранены; контрольные суммы есть в weights_manifest.json.

🚀 Пример

from PIL import Image
from transformers import AutoImageProcessor, AutoModel
model_id = "slideflow-labs/mettle-1.5"
processor = AutoImageProcessor.from_pretrained(model_id, use_fast=False)
model = AutoModel.from_pretrained(model_id, trust_remote_code=True).eval()
inputs = processor(images=Image.open("tile.png").convert("RGB"), return_tensors="pt")
emb = model(**inputs, feature_view="cls_mean").pooler_output

Подробнее

Бенчмарков и клинических метрик в карточке нет — это tile feature extractor, а не диагностическая система.
Проверка упаковки: все 577 тензоров совпадают с исходным чекпоинтом байт в байт; на синтетическом RGB-тайле оба режима признаков совпадают с референсом до 1.79e-7 (CPU, float32).
Тестировалось на PyTorch 2.13.0, timm 1.0.29 и Transformers 4.57.1; требования к VRAM не указаны.
Для прямой загрузки исходного плоского .pt-чекпоинта нужен совместимый формат или safetensors-loader.