TRACE
энкодер снимков сетчатки без разметки болезней
2 min readupdated
Модель извлекает информативные признаки из цветных фотографий глазного дна и помогает находить патологии сетчатки, оценивать качество снимка и контролировать достоверность предсказаний. В основе лежит замороженный бэкбон ResNet-50 (выходной вектор размерностью 2048 с L2-нормализацией), обученный методом самообучения MoCo v2 без меток заболеваний на 22 500 снимках с симуляцией артефактов камер. В отличие от моделей с классическим обучением с учителем, TRACE устойчивее работает на новых камерах, снимках низкого качества и редких диагнозах с малым числом примеров. Решение создано командой div4maxxers (BMSIT Bengaluru) в рамках хакатона ZEISS India Campus Hackathon «Beyond Code 2026» и пригодится исследователям в области медицинской компьютерной диагностики.
Ключевые особенности
- Обучение без разметки диагнозов с использованием безопасных для сетчатки аугментаций и симулятора артефактов камер.
- В комплект входят 20 калиброванных детекторов находок (отёк диска зрительного нерва, кровоизлияния, друзы и др.).
- Слой доверия
trust.joblibвключает 7-классовый классификатор с температурным масштабированием, конформные пороги под конкретные камеры и детекцию выхода за пределы распределения (OOD). - Отдельный фильтр качества
quality.joblibотсеивает неудачные снимки, а банк прототиповbank.npzпомогает распознавать редкие заболевания.
Что можно сделать
- Извлекать 2048-мерные эмбеддинги изображений глазного дна для обучения собственных лёгких классификаторов или поиска похожих клинических случаев.
- Запустить локальное интерактивное демо из связанного репозитория на порту 7860 для тестирования детекторов находок и оценки качества фото.
- Использовать готовые веса как устойчивый к смене оборудования экстрактор признаков при работе с данными с разных фундус-камер.
Пример
import cv2
from encoder.export import load_trace_encoder, preprocess
enc = load_trace_encoder("checkpoints/trace_v2/encoder.pt")
x = preprocess(cv2.cvtColor(cv2.imread("fundus.jpg"), cv2.COLOR_BGR2RGB)) # (3, 384, 384)
features = enc(x[None]) # (1, 2048)
Подробнее
Метрики: linear probe AUROC на RFMiD — 0.917; на незнакомых камерах (Kowa / Topcon OCT-2000) — 0.921 / 0.858; top-1 на JSIEC-1000 (39 болезней по 5 фото) — 0.628; стресс-тест ошибок относительно ImageNet — 0.67.Обучение: 22 500 публичных снимков глазного дна (EyePACS, APTOS, RFMiD), разрешение входа 384×384.
Ограничения: только для исследовательских целей, не является медицинским изделием; файлы
.joblib являются Python pickle и требуют загрузки только из доверенного источника.









Comments