TrialMatch Qwen3-0.6B LoRA
LoRA для проверки критериев клинических испытаний
1 min read
Это LoRA-адаптер для Qwen/Qwen3-0.6B, дообученный под criterion-level проверку критериев клинических испытаний. На вход модель получает нумерованную заметку пациента, тип критерия и текст критерия, а возвращает JSON с ID предложений-доказательств и меткой. Адаптер также указан как draft-модель для speculative decoding с target 1.7B.
Ключевые особенности
- LoRA для Qwen/Qwen3-0.6B: r=16, alpha=32, все attention и MLP projections.
- Вход — нумерованная заметка пациента, тип критерия и текст критерия; выход — JSON с
evidenceиlabel. - Обучение на
ncbi/TrialGPT-Criterion-Annotations, patient-grouped split: 37/8/8 пациентов. - Используется как draft-модель для speculative decoding с 1.7B target.
- Учебный прототип для скрининга, не инструмент клинического решения.
Пример
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
model = PeftModel.from_pretrained(base, "afnanrizwan/trialmatch-qwen3-0.6b-lora").merge_and_unload()
Подробнее
Валидация на 206 критериях: accuracy 0.733, macro-F1 0.387.Обучение: 3 эпохи, lr 2e-4, effective batch 16, fp16 на Kaggle T4.
Это учебный прототип для скрининга, не инструмент клинического решения.
LoRA r=16, alpha=32, все attention + MLP projections; GPT-4-колонки не использовались.










Comments