MedJev-4B
быстрая VLM-модель для анализа медицинских изображений
2 min readupdated
Модель принимает на вход медицинский снимок, вопрос и все варианты ответа в одном промпте, после чего за один прямой проход (forward pass) выставляет оценку каждому варианту. В отличие от обычных VLM, она не генерирует текст токен за токеном, поэтому не требует парсера ответов и не тратит время на лишние рассуждения. Решение построено на базе Qwen3.5-4B с урезанной языковой частью и специальной головой принятия решений (residual decision head) на базе LoRA-адаптеров. В результате модель отвечает в 6,04 раза быстрее исходной Qwen3.5-4B и при этом повышает среднюю точность на 7,93 процентных пункта. Подойдёт разработчикам и исследователям в сфере медицинского ИИ, которым важна низкая задержка и гарантированный выбор одного из заданных вариантов.
Ключевые особенности
- Один проход без генерации текста: модель не запускает цикл декодирования и возвращает индекс лучшего варианта ответа, исключая ошибки парсинга.
- Облегчённая архитектура: из 32 языковых слоёв Qwen3.5-4B полностью оставлены первые 23, слои 24–31 удалены, а от 32-го сохранены только query- и key-проекции при нетронутом визуальном энкодере.
- Механизм оценки кандидатов: варианты оцениваются через скалярное произведение query- и key-векторов базовой модели с добавлением обучаемой MLP-поправки.
- Компактный набор весов: обученные тензоры (LoRA rank 16, эмбеддинги маркеров и голова) занимают всего 25,77 млн параметров поверх базовой Qwen/Qwen3.5-4B.
Что можно сделать
- Автоматизировать классификацию дерматологических снимков (по аналогии с HAM10000) и рентгенограмм грудной клетки (как в PneumoniaMNIST) по заранее заданному списку диагнозов.
- Встроить в системы поддержки клинических решений и медицинские VQA-сервисы с закрытым набором вариантов ответа, где критична минимальная задержка инференса.
- Использовать подход с удалением верхних языковых слоёв и residual decision head как референс для ускорения мультимодальных моделей в задачах множественного выбора.
Пример
git clone [https://github.com/zfkarl/MedJev.git](https://github.com/zfkarl/MedJev.git) && cd MedJev
pip install -e .
hf download Karl28/MedJev-4B --local-dir checkpoints/medjev-4b
bash scripts/evaluate.sh checkpoints/medjev-4b
Подробнее
Средняя точность на 4 бенчмарках — 69,06% (PneumoniaMNIST — 94,23%, HAM10000 — 68,39%, PMC-VQA — 61,68%, MedThinkVQA — 51,94%).Средняя задержка (latency) при batch size 1 на GPU H20 — 113,4 мс (64,8 мс на PneumoniaMNIST, 65,0 мс на PMC-VQA).
Обучена за 1 эпоху на 174 360 примерах (5 449 шагов, global batch size 32) с взвешенной кросс-энтропией.
Веса самой базы не включены в репозиторий — при загрузке автоматически скачивается Qwen/Qwen3.5-4B. Лицензия Apache 2.0.










Comments