Labadain-MedQA-QLoRA-Gemma-4-E2B-it-Tetun

Это QLoRA/PEFT-адаптер для базовой модели unsloth/gemma-4-E2B-it, адаптированный под медицинские вопросы и следование инструкциям на Tetun (tdt) — языке малых ресурсов из Восточного Тимора. Разработка Labadain Research Center (Дили) и INESC TEC (HumaNISE, Порту). Опубликован именно LoRA-адаптер, а не полная копия весов базовой модели.

🔍 Ключевые особенности

• 🔍 QLoRA-адаптер к Gemma 4 E2B-it: база загружается в квантованном виде, обучаются только LoRA-параметры.
• 🌐 Основной язык — Tetun; английский присутствует в исходных ресурсах.
• 📚 Обучение на 39 077 переведённых парах медицинских QA: 33 135 Flashcards и 5 942 WikiDoc Patient Information.
• 🔄 Перевод с английского выполняли через Gemini 2.5 Flash с итеративным улучшением промптов и орфографической ревизией.
• 🖥 Для запуска нужен базовый чекпоинт и chat template; адаптер не содержит весов базы.

💡 Пример

from unsloth import FastModel
from peft import PeftModel
base, tok = FastModel.from_pretrained('unsloth/gemma-4-E2B-it', max_seq_length=2048, load_in_4bit=True)
model = PeftModel.from_pretrained(base, 'labadain/Labadain-MedQA-QLoRA-Gemma-4-E2B-it-Tetun')
messages = [{'role': 'user', 'content': 'Saida mak diabetes?'}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors='pt').to(model.device)
print('Адаптер загружен; далее generate()')

Подробнее

📊 USMLE-style на Tetun: Step 1 — 27.66%, Step 2 — 25.69%, Step 3 — 25.41%; macro-average — 26.25% на 325 вопросах.
🖥 Оценка в 4-bit конфигурации; в примере load_in_4bit=True и max_seq_length=2048. Отдельных требований к VRAM карточка не приводит.
⚠ Адаптер не заменяет базовую модель; нужен совместимый chat template. Карточка относит применение к research и non-clinical educational prototypes, а не к клинической практике.
📚 Качество перевода проверяли на 100 медицинских QA документах с участием носителей Tetun из числа медработников.