MedChain-R1-9B

MedChain-R1-9B — 9B vision-language модель для sequential medical image grounding. На вход она получает последовательность медицинских изображений и клинический вопрос, сначала пишет rationale в <think>…</think>, а затем возвращает один bounding box в пиксельных координатах. Построена на Qwen3.5-9B: dCoT-SFT на корпусе MedChain, затем GRPO с наградой за IoU и формат.

▶ Ключевые особенности

• 1⃣ Принимает серию медицинских изображений и вопрос, выдаёт рассуждение и bounding box в формате <answer>(x1,y1),(x2,y2)</answer>.
• 2⃣ Обучена на MedChain: 182 573 отфильтрованных rationale для 8 задач MedSG-Bench и 10 модальностей визуализации.
• 3⃣ Сначала dCoT-SFT, затем GRPO с наградой за IoU и формат; 9B-чекпоинт рекомендован как самый точный в семействе.
• 4⃣ На MedSG-Bench этот чекпоинт набирает 77.54 mIoU и 84.87 Acc@0.5.
• 5⃣ Есть 4B-вариант для сред с ограниченными ресурсами.

▶ Пример

from transformers import AutoModelForImageTextToText, AutoProcessor
repo = "adidukrembzuai/MedChain-R1-9B"
model = AutoModelForImageTextToText.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = AutoProcessor.from_pretrained(repo)
question = "Compare these two images and give the coordinates of their difference."
prompt = question + "\nFirst output <think>...</think>, then <answer>(x1,y1),(x2,y2)</answer>."
# передайте prompt и изображения в processor.apply_chat_template и model.generate

Подробнее

На MedSG-Bench: 77.54 mIoU и 84.87 Acc@0.5 у этого 9B-чекпоинта.
Обучение: dCoT-SFT на 182 573 rationale, затем GRPO с наградой за IoU и формат.
Это исследовательский артефакт, не для автономной диагностики; rationale обусловлены размеченным box и могут быть post-hoc.
Оценка ограничена MedSG-Bench; 4B-версия даёт 75.97 mIoU / 83.67 Acc@0.5.