TrialMatch Qwen3-0.6B LoRA

Это LoRA-адаптер для Qwen/Qwen3-0.6B, дообученный под criterion-level проверку критериев клинических испытаний. На вход модель получает нумерованную заметку пациента, тип критерия и текст критерия, а возвращает JSON с ID предложений-доказательств и меткой. Адаптер также указан как draft-модель для speculative decoding с target 1.7B.

⚙ Ключевые особенности

• 🎯 LoRA для Qwen/Qwen3-0.6B: r=16, alpha=32, все attention и MLP projections.
• 🧩 Вход — нумерованная заметка пациента, тип критерия и текст критерия; выход — JSON с evidence и label.
• 🦾 Обучение на ncbi/TrialGPT-Criterion-Annotations, patient-grouped split: 37/8/8 пациентов.
• ⚙ Используется как draft-модель для speculative decoding с 1.7B target.
• 🧊 Учебный прототип для скрининга, не инструмент клинического решения.

🧩 Пример

from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
model = PeftModel.from_pretrained(base, "afnanrizwan/trialmatch-qwen3-0.6b-lora").merge_and_unload()

Подробнее

🔬 Валидация на 206 критериях: accuracy 0.733, macro-F1 0.387.
⚙ Обучение: 3 эпохи, lr 2e-4, effective batch 16, fp16 на Kaggle T4.
🧊 Это учебный прототип для скрининга, не инструмент клинического решения.
🦾 LoRA r=16, alpha=32, все attention + MLP projections; GPT-4-колонки не использовались.