SmolLM3-3B-MedQA
3B-модель для медицинских экзаменационных вопросов
1 min readupdated
Это SmolLM3-3B, дообученная отвечать на медицинские вопросы с четырьмя вариантами ответа. Автор — BasselNashaat; проект сделан как финальная работа курса Hugging Face smol-course. Размер — около 3,08 млрд параметров.
Ключевые особенности
- Формат: вопрос + варианты A–D, ответ — буква и текст правильного варианта.
- Двухэтапное обучение: SFT + LoRA, затем DPO + LoRA.
- Данные: 7781 MedQA, 7500 MedMCQA и 4000 medical-o1; для DPO — 3000 пар.
- На MedQA test модель дала чёткий ответ в 100% случаев.
- Обучение и тесты — на английском; thinking mode отключён.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('BasselNashaat/SmolLM3-3B-MedQA')
model = AutoModelForCausalLM.from_pretrained('BasselNashaat/SmolLM3-3B-MedQA', device_map='auto')
question = '<question>\n\nA. ...\nB. ...\nC. ...\nD. ...\n\nAnswer with the letter and the text of the correct option.'
text = tokenizer.apply_chat_template([{'role': 'user', 'content': question}], tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(text, return_tensors='pt', add_special_tokens=False).to(model.device)
output = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tokenizer.decode(output[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
MedQA test: 1273 вопроса; 50,1% против 41,6% у untrained (+8,6 п.п., 95%-й диапазон около ±2,9).Среди вопросов, где модель ответила, верно 50,1%.
Ограничения: один экзаменационный датасет, английский, один формат промпта; free-form ответы не оценивались.
Это учебный проект, не медицинское изделие: не применять для диагностики и лечения.










Comments