JevNavAgent
визуальный агент для анализа гигапиксельной патологии
2 мин чтенияобновлено
Модель JevNavAgent представляет собой комплекс предобученных чекпоинтов на базе модели Qwen/Qwen3-VL-2B-Instruct, дополненных LoRA-весами (небольшая надстройка над базовой моделью) и специализированными головами принятия решений. Система разработана для автоматизированной навигации и визуального анализа гигапиксельных медицинских сканов (WSI). Агент последовательно исследует ткани, оценивает необходимость остановки поиска и выдает точные ответы, совмещая этапы SFT (контролируемого точной настройкой обучения) и обучения с подкреплением на уровне траекторий (GRPO). Модель пригодится исследователям в области биомедицинской инженерии и цифровой патологии.
Ключевые особенности
- Базовая архитектура: использует компактную мультимодальную модель
Qwen3-VL-2B-Instructс эффективными LoRA-адаптерами. - Факторизованные головы: включает три специализированные решающие головы (
heads.pt) для оценки достаточности улик, простого анализа пространственной геометрии и контекстно-билинейных ответов. - Двухэтапное обучение: включает веса для Stage-1 SFT выравнивания траекторий и Stage-2 интерактивного GRPO (включая совместное обучение VQA+KL и оптимизацию под датасет CAMELYON16).
- Специализированные бенчмарки: оптимизирована под сложные клинические задачи на медицинских наборах данных WSI-VQA 351 и CAM16.
Что можно сделать
- Запустить оценку модели: применить официальный пакет оценки через командную строку для тестирования на датасетах WSI-VQA или CAMELYON16.
- Интегрировать PEFT веса: использовать легковесные веса
adapter/и конфигурационный файлjev_config.json(около 73 МБ) для собственных экспериментов. - Анализировать гигапиксельные слайды: применять модель в связке с репозиторием разработчиков для поиска опухолей и ответов на визуальные вопросы по патоморфологии.
Пример
git clone [https://github.com/yonghongwu/JevNavAgent.git](https://github.com/yonghongwu/JevNavAgent.git)
cd JevNavAgent && pip install -e .
jevnav-download --mode eval-slides --out ./data
jevnav-eval \
--benchmark wsivqa_351 \
--policy jevnav \
--checkpoint renyimen/JevNavAgent:stage2_traj_grpo_vqa_kl \
--backbone Qwen/Qwen3-VL-2B-Instruct \
--data-dir ./data \
--output results/jevnav_vqa.jsonl
Подробнее
Производительность WSI-VQA 351 (Stage-2): точность Step-$T$ 50.43%, Micro-Focal 51.39%, Clin. A–D 54.73%.Результаты на CAM16 Test-129: попадание по локализации 22.45% (при конвертации останова 91.7%), специфичность 93.75%.
Каждый чекпоинт содержит веса PEFT LoRA, факторные головы
heads.pt и файл jev_config.json (~73 МБ).Лицензия: Apache-2.0 (базовая модель подчиняется оригинальной лицензии Qwen).










Комментарии