medgemma-maternal-lora-v2
мультиязычный LoRA-адаптер для вопросов материнского здоровья
2 мин чтенияобновлено
medgemma-maternal-lora-v2 — это вторая версия QLoRA-адаптера (компактной надстройки для дообучения языковых моделей с минимальным расходом видеопамяти) на базе медицинской модели google/medgemma-4b-it от компании Dawa Health при поддержке UNICEF. Модель отвечает на вопросы о беременности, репродуктивном здоровье и контрацепции на семи языках, распространённых в Зимбабве и Замбии: английском, шона, ндебеле, тонга, чиньянджа, бемба и лози. В отличие от первой версии, сюда добавили проверенные врачами пары «вопрос-ответ» из документов, базовый набор данных по контрацепции и реальные диалоги пользователей из чат-бота. Инструмент предназначен для исследователей и разработчиков, создающих локализованных медицинских чат-ассистентов.
Ключевые особенности
- Обучение продолжилось напрямую поверх адаптера v1 без добавления новых слоёв LoRA, поэтому v2 подключается к базовой модели точно так же, как первая версия.
- Модель обучалась исключительно на текстовых данных: визуальные возможности базовой мультимодальной MedGemma 4B не затрагивались и не тестировались.
- Поддерживает естественное смешивание языков (code-switching) в одном запросе, что характерно для реального общения пользователей в регионе.
- Адаптер распространяется под открытой лицензией AGPL-3.0, но также требует соблюдения условий использования MedGemma (Health AI Developer Foundations).
Что можно сделать
- Встроить в прототип чат-бота поддержки (например, для мессенджеров вроде WhatsApp) с обязательной проверкой ответов врачами и подтягиванием проверенных справочников через RAG.
- Использовать для генерации справочных ответов по неделям беременности, фертильности и профилактике рака шейки матки на редких африканских языках.
- Применять в исследованиях качества медицинских LLM на малоресурсных языках и оценке проблемы зацикливания текста при жадной генерации.
Пример
from unsloth import FastModel
model, tokenizer = FastModel.from_pretrained(
"dawahealth/medgemma-maternal-lora-v2",
load_in_4bit=True,
)
Подробнее
Метрики: на выборке из 48 вопросов средний балл chrF вырос с 15.6 (базовая модель) и 31.2 (v1) до 42.3; на расширенной выборке из 133 вопросов средний chrF составил 34.9.Обучение: QLoRA (rank 16, alpha 16, 4-bit база), около 10 GPU-часов на одной видеокарте NVIDIA T4.
Ограничения: при инференсе рекомендуется задавать
repetition_penalty=1.15, так как модель склонна к зацикливанию фраз (особенно на языках бемба и шона).Важно: не является медицинским изделием, не подходит для постановки диагнозов и может уверенно выдавать клинически неверную информацию — требуется контроль специалиста.










Комментарии