MedReason

MedReason — LoRA-адаптер от Varun95 для Qwen2.5-3B-Instruct (4-bit), дообученный на medical-o1-reasoning-SFT. По карточке, модель пишет рассуждение в <think> и затем даёт краткий клинический ответ. Это research prototype, а не медицинское изделие.

🦾 Ключевые особенности

• 🦾 QLoRA-адаптер: rank 16, alpha 16, dropout 0.05; 29.9M обучаемых параметров, около 0.97% от 3.09B-параметров базовой модели.
• 👁 Рассуждение выводится внутри <think>, после чего модель формулирует сжатый ответ.
• 🔥 Обучение на medical-o1-reasoning-SFT; заявлена только английская одноходовая генерация.
• 📉 На закрытом тесте из 1,954 строк loss 1.4092 против 1.9360 у базовой Qwen2.5-3B — снижение на 27%.
• ✅ В карточке описаны assistant-only loss masking, аудит утечек данных и остановка на плато.

⬇ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained('unsloth/Qwen2.5-3B-Instruct-bnb-4bit', device_map='auto')
tok = AutoTokenizer.from_pretrained('unsloth/Qwen2.5-3B-Instruct-bnb-4bit')
model = PeftModel.from_pretrained(base, 'Varun95/medical-qwen-lora')
# далее — apply_chat_template и generate(...)

Подробнее

Sealed test: loss 1.4092 против 1.9360 у базовой Qwen2.5-3B (−27%).
Обучение: QLoRA rank 16, alpha 16, dropout 0.05; 29.9M обучаемых параметров.
Данные: 19,526 примеров после очистки, split 80/10/10.
Ограничения: не клинически валидирована, синтетические трассы, возможны галлюцинации; только английский, single-turn.