MediX-R1 (4B и 8B)
медицинские VLM с пошаговым рассуждением
2 мин чтенияобновлено
Репродукция двух мультимодальных моделей (VLM — нейросетей, работающих одновременно с картинками и текстом) из научной статьи по методике MediX-R1. Модели созданы на базе Qwen3-VL-4B-Instruct и Qwen3-VL-8B-Instruct и дообучены с помощью обучения с подкреплением (RL) для ответов на медицинские вопросы. На выходе система выдает тег модальности, цепочку своих рассуждений в тегах и итоговый ответ в . Решение пригодится исследователям и разработчикам медицинских ИИ-ассистентов, которым важна прозрачность логики модели.
Ключевые особенности
- Две версии в одном репозитории: компактная на 4 млрд параметров и более точная на 8 млрд (разложены по отдельным папкам).
- Структурированный вывод с прозрачным ходом мыслей в блоке
...перед финальным вердиктом. - Обучение с подкреплением (RL) по рецепту MediX-R1 для повышения точности в медицинской диагностике и теории.
- Открытая лицензия Apache 2.0, унаследованная от базовых моделей семейства Qwen3-VL.
Что можно сделать
- Встроить в исследовательский прототип для анализа медицинских снимков (например, рентгена грудной клетки) с ответами на уточняющие вопросы.
- Использовать для автоматического разбора сложных текстовых кейсов и вопросов по медицине с проверкой логики рассуждений.
- Сравнить качество и скорость работы 4B- и 8B-версий на локальном оборудовании в задачах медицинского VQA.
Пример
from huggingface_hub import snapshot_download
from transformers import AutoProcessor, Qwen3VLForConditionalGeneration
name = "MediX-R1-8B" # или "MediX-R1-4B"
path = snapshot_download("Shayan0179/Medix-R1", allow_patterns=f"{name}/*") + f"/{name}"
model = Qwen3VLForConditionalGeneration.from_pretrained(path, dtype="bfloat16", device_map="auto")
processor = AutoProcessor.from_pretrained(path)
# Системный промпт берется из файла prompt.txt внутри папки модели
Подробнее
Точность на 6 медицинских VQA-бенчмарках: 49.2% (4B) и 49.3% (8B).Точность на 11 текстовых медицинских QA-тестах: 70.5% (4B) и 74.4% (8B).
Итоговые метрики (Macro / Micro): 63.0% / 53.8% у 4B-версии и 65.5% / 56.0% у 8B-версии.
Оценка проводилась при greedy-декодировании (
do_sample=False) с проверкой ответов тремя LLM-судьями.









Комментарии