ДругоеxTamim
dawri-fanar-9b-lora
LoRA для медицинского ресепшена, которую нельзя ставить пациентам
2 мин чтения
LoRA-адаптер для QCRI/Fanar-1-9B-Instruct (Apache-2.0), сделанный для демо на хакатоне Dawri. Модель учили отвечать одним коротким вопросом, который проходит гейт приложения, либо выдавать intake JSON в стиле скриптового администратора. Обучение шло только на синтетических данных, клинической проверки не было.
🔍 Ключевые особенности
- ✅ Gate pass: 50/50 на английском и 50/50 на арабском против 1/50 и 0/50 у базовой модели.
- 📋 Валидный intake: 25/27 на английском и 31/36 на арабском.
- 🗿 Имитация скрипта: на 100 оценённых вопросов пришлось всего 14 уникальных формулировок.
- ⛔ Срезанная эскалация: на 13 неотложных формулировках база эскалировала 9 раз, адаптер — 0.
- 💻 Обучение: LoRA r=16, alpha=32 на q/k/v/o, 1.5 эпохи, 324 шага, на A10G.
🧪 Пример
Кода запуска в карточке нет, зато есть показательный кейс: на описание передозировки адаптер ответил вопросом «Since when?» вместо эскалации. В штатном режиме на вход подаётся системный промпт Dawri и история диалога, на выходе — один короткий вопрос или JSON; правильную следующую тему модель выбрала в 89 случаях из 100.
Подробнее
Правильная следующая тема: 89/100 вопросов (у базы — 0).Эскалация неотложных состояний: 0/13 против 9/13 у базовой модели.
Тесты — на синтетике из того же генератора, что и обучение, поэтому цифры не предсказывают поведение на реальных пациентах.
Известные слабости: в 6 из 45 случаев на лимите в 6 вопросов задан ещё один вместо JSON; Gulf dialect часто помечается как MSA.
Не для реальных пациентов и не для клинического применения.
Комментарии