SEPIA

SEPIA — модель извлечения признаков из изображений иммуногистохимии (IHC) от AnonUser123AI. Архитектура ViT-L/14, инициализирована из Hibou-L и обучена с H/D inpainting. На вход принимает RGB-тайл и идентичность окрашенного маркера.

➕ Ключевые особенности

• ➕ Учитывает идентичность маркера: DAB-токены обусловлены проекцией ESM-эмбеддинга белка.
• ✖ Разделяет изображение на H- и D-рендеринги и формирует парные H/D-токены.
• 🟰 На выходе — 1024-мерное представление изображения и отдельные H/D patch-представления.
• 🔜 Стандартный вход — RGB-тайл IHC 224×224 пикселя.
• 🔙 Инициализирована из Hibou-L, обучена с H/D inpainting.

▶ Пример

Подайте в модель RGB-тайл IHC 224×224 и идентификатор маркера — SEPIA вернёт 1024-мерный эмбеддинг изображения и отдельные представления H- и D-участков.

Подробнее

Бенчмарки: AUROC 96.4% на pan-cancer DAB location с 13 отложенными маркерами; средний ранг 2.66 по 44 IHC-задачам (ниже лучше).
Breast cancer histological subtype — 61.6% AUROC, DLBCL double expressor — 91.9%.
Архитектура ViT-L/14, размер эмбеддинга 1024; веса — sepia.pth.
Требования к VRAM и ограничения в карточке не указаны.