mistral-7b-pubmedqa-loraplus
LoRA+ адаптер для ответов на биомедицинские вопросы
2 мин чтения
Этот репозиторий представляет собой LoRA+ адаптер (небольшая надстройка над базовой моделью для точечной доработки) для модели mistralai/Mistral-7B-Instruct-v0.3, обученный на датасете PubMedQA. Модель анализирует аннотацию из PubMed и исследовательский вопрос, после чего пишет короткое заключение и выдает финальный вердикт: да, нет или возможно. Разработка создана автором iamaber для исследовательских целей и воспроизводимости результатов в области биомедицинских вопросов и ответов.
Ключевые особенности
- Улучшение точности ответов на официальном тестовом наборе PubMedQA по сравнению с базовой моделью.
- Использование метода тренировки LoRA+ с фиксированными гиперпараметрами и воспроизводимым кодом обучения.
- Подробно задокументированные метрики оценки, включая точность (accuracy) и макро-F1.
- Открытый код для обучения, оценки и инференса, доступный в связанном репозитории на GitHub.
Что можно сделать
- Запустить инференс модели с использованием библиотеки
peftповерх базовой модели Mistral-7B-Instruct-v0.3. - Использовать адаптер как отправную точку для исследований методов дообучения языковых моделей на биомедицинских текстах.
- Протестировать генерацию кратких логических выводов на основе научных аннотаций из PubMed.
- Изучить конфигурацию тренировки и результаты оценки на подмножестве задач Medical MMLU.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_model_id = "mistralai/Mistral-7B-Instruct-v0.3"
tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
base_model_id,
dtype=torch.bfloat16,
device_map="auto",
);
model = PeftModel.from_pretrained(base_model, "iamaber/mistral-7b-pubmedqa-loraplus")
model.eval()
messages = [{"role": "user", "content": "Context: \n\nQuestion: \n\nWrite a short conclusion supported by the abstract, then give the final answer on its own line as 'Answer: yes', 'Answer: no', or 'Answer: maybe'."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
with torch.no_grad():
output = model.generate(**inputs, max_new_tokens=200, do_sample=False)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))Подробнее
Точность (Accuracy) на PubMedQA: 0.7280 (у базовой модели — 0.6600).Макро-F1 на PubMedQA: 0.5831 (у базовой модели — 0.5300).
Датасет для обучения: qiaojin/PubMedQA (pqa_labeled), 744 примеров для тренировки.
Ограничения: только для исследова的和вских целей, не является пригодной для клинической практики моделью.
Лицензия: Apache-2.0.










Комментарии