U-VLM 0.1B
компактная нейросеть для описаний 3D-КТ снимков
2 мин чтенияобновлено
Модель анализирует трёхмерные снимки компьютерной томографии (КТ) и генерирует текстовые радиологические заключения. Разработана командами Medical Image Insights и Шанхайского университета Цзяо Тун на базе архитектуры nnU-Net. Вместо тяжеловесных языковых гигантов авторы объединили предобученный визуальный энкодер residual U-Net (свёрточная сеть для анализа медицинских объёмов) и лёгкий текстовый декодер, обученный с нуля. Признаки с шести уровней энкодера напрямую подаются в шесть слоёв декодера, а для токенизации используется словарь от Qwen3-4B. Решение пригодится исследователям в области медицинского ИИ и разработчикам систем автоматической предварительной расшифровки томограмм.
Ключевые особенности
- Компактный размер: всего 0.1B параметров при работе с полноценными объёмными 3D-данными.
- Поэтапное обучение энкодера: сначала сегментация по вокселям (трёхмерным пикселям), затем классификация патологий и только потом генерация текста.
- Два специализированных чекпоинта: первый формирует связный описательный отчёт (обучен на CT-RATE), второй — структурированный отчёт (обучен на AbdomenAtlas 3.0).
- Открытая лицензия: веса и код доступны под Apache-2.0.
Что можно сделать
- Генерировать черновые нарративные заключения по КТ органов грудной клетки (чекпоинт CT-RATE).
- Получать структурированные описания патологий брюшной полости (чекпоинт AbdomenAtlas 3.0).
- Встроить пайплайн
uvlm_inferenceв исследовательские системы для пакетной обработки 3D-снимков в формате Blosc2 с выгрузкой результатов в CSV.
Пример
uvlm_inference report \
--csv-path /path/to/ct_rate_test.csv \
--model-dir /path/to/uvlm_weights/nnUNet_results/Dataset1131_CT-RATE/nnUNetTrainer_UVLM__CTRATE_report_192x256x256_clsseg_bal_aug_ds_fr_narr__3d_fullres \
--output-dir /path/to/output/ct_rate \
--gpu-config "0:1"
Подробнее
Метрики CT-RATE (3 037 примеров): Macro F1 (RadBERT) — 0.4497, BLEU-mean — 0.3404, ROUGE-L — 0.3335.Метрики AbdomenAtlas 3.0 (926 примеров): Macro F1 (DeepSeek) — 0.5718, BLEU-mean — 0.4342, ROUGE-L — 0.6250.
Требования: Python 3.10, PyTorch, nnU-Net v2, blosc2, transformers; входные снимки подаются в формате Blosc2.
Ограничения: веса Qwen3-4B не используются (только токенизатор); исходные датасеты и снимки в репозиторий не включены.










Комментарии