ResNet-18 Tensor-Train
сжатие нейросети для оценки дисплазии
2 мин чтенияобновлено
Модель представляет собой сжатую версию ResNet-18 на основе PyTorch, где свёрточные ядра 3×3 разложены в формат Tensor-Train (тензорное разложение). Сеть обучена для оценки степени тяжести оральной эпителиальной дисплазии на датасете OralEpitheliumDB. Главная особенность метода в том, что уменьшение количества параметров не снижает объём вычислений (GFLOPs): ядра пересобираются на каждом прямом проходе, что сокращает требования к памяти, но увеличивает задержку (latency). Модель предназначена для исследовательских и образовательных задач в области анализа медицинских изображений.
Ключевые особенности
- Значительное сокращение параметров (до 4.60 M против 11.18 M у базы).
- Сохранение вычислительной сложности (GFLOPs остались на уровне 3.63).
- Использование метода Tensor-Train с четырьмя ядрами на одно свёрточное ядро.
- Сравнение эффективности с аналогами, такими как модель Tucker-2.
Что можно сделать
- Применить модель для анализа и классификации гистологических изображений тканей в исследовательских проектах.
- Провести эксперименты по оценке задержки (latency) и потребления ресурсов на CPU и GPU.
- Сравнить качество работы Tensor-Train с базовой архитектурой ResNet-18 и вариантом Tucker-2.
Пример
# pip install torch torchvision safetensors huggingface_hub
from huggingface_hub import hf_hub_download
import importlib.util, sys
from PIL import Image
path = hf_hub_download("LuisPaim/oed-resnet18-tensortrain", "oed_models.py")
spec = importlib.util.spec_from_file_location("oed_models", path)
oed = importlib.util.module_from_spec(spec); sys.modules["oed_models"] = oed; spec.loader.exec_module(oed)
model = oed.from_pretrained("LuisPaim/oed-resnet18-tensortrain")
print(oed.predict(model, Image.open("roi.tif")))Подробнее
Параметры: 4.60 M (снижение на 59% по сравнению с базой)GFLOPs: 3.63 (без изменений по сравнению с базой)
Метрики (на тестовом наборе из 92 изображений): AUC 0.9787, F1 0.8896, QWK 0.9195, Accuracy 0.8913
Железо и задержка: GPU latency 7.01 ms (RTX 3050), CPU latency 52.2 ms (Intel Xeon)
Ограничения: только для исследований и обучения, не является медицинским устройством










Комментарии