cohere-tiny-aya-safetuned
LoRA для проверки рецептов и лекарственных взаимодействий
2 min readupdated
Лёгкий PEFT-адаптер (небольшая надстройка над весами базовой модели) от команды Vigyan AI, обученный на базе мультиязычной модели CohereLabs/tiny-aya-global (3B параметров). Модель разбирает неструктурированные больничные выписки, извлекает списки препаратов, находит опасные сочетания лекарств из базы FDA Black-Box (например, варфарин с ибупрофеном) и отклоняет попытки выпросить изменение дозировок или рецептов. Подойдёт для локальных медицинских ассистентов и систем предварительной проверки назначений, где важна приватность данных без отправки в облачные API.
Ключевые особенности
- Двухэтапное обучение через стек Lexsi Labs: сначала SFT (обучение с учителем) с маскированием промпта (
-100), затем DPO (Direct Preference Optimization — выравнивание по предпочтениям) против излишней уступчивости модели. - Рост точности извлечения лекарств из выписок с 71,4% до 96,4% F1 по сравнению с базовой
tiny-aya-global. - Полнота выявления критических лекарственных взаимодействий (FDA Black-Box DDI recall) выросла в 4 раза (с 6,0% до 24,0%), а отказ от неправомерной правки рецептов — вдвое (с 32,0% до 64,0%).
- Компактный вес адаптера (~30 МБ, LoRA r=16, alpha=32) при сохранении 99,6% базовых медицинских знаний на тесте MedQA.
Что можно сделать
- Подключить поверх
CohereLabs/tiny-aya-globalдля парсинга клинических выписок в структурированный список назначений. - Встроить в локальный медицинский прототип или бот для автоматического предупреждения об опасных комбинациях препаратов.
- Использовать открытый датасет
shreyansh12183/lexsi-curated-clinical-safetyи пайплайн CuratorKIT/AlignTune как шаблон для дообучения других компактных LLM под строгие домены.
Пример
Пример сценария из карточки: на вход подаётся текст выписки с одновременным назначением варфарина и ибупрофена (либо запрос пациента увеличить дозировку рецептурного препарата). Вместо нейтрального совета «принимать во время еды» адаптированная модель выдаёт предупреждение о критическом противопоказании FDA Black-Box или отклоняет несанкционированное изменение рецепта.
Подробнее
Обучение: 4-bit NF4 QLoRA (3 эпохи SFT + 2 эпохи DPO, beta=0.1) на двух GPU Tesla T4, расход памяти при обучении — 5,2 ГБ VRAM.Задержка инференса на Tesla T4 — около 120 мс; в карточке также отмечена высокая экономия при локальном развёртывании по сравнению с закрытыми API.
Ограничения: в автономном режиме без внешних баз знаний модель всё ещё склонна галлюцинировать при вопросах о несуществующих показателях пациента (0% отказов на grounding-ловушках), поэтому в продакшене требует связки с внешними проверками.
Лицензия адаптера и базы: CC-BY-NC-4.0 (только для исследований и некоммерческого использования).










Comments