Tiny Aya Global Med Safemix
медицинский QLoRA-адаптер с защитой от вредоносных запросов
2 мин чтенияобновлено
Это QLoRA-адаптер (компактная надстройка для дообучения) поверх мультиязычной модели CohereLabs/tiny-aya-global, созданный для ответов на медицинские вопросы на пяти языках (английском, хинди, испанском, французском и арабском). В отличие от обычного дообучения на профильных данных, которое часто ломает встроенные фильтры безопасности, автор добавил в выборку примеры корректных отказов на провокационные запросы. В результате модель отвечает на медицинскую тематику на уровне базовой версии, но значительно реже поддаётся на атаки и попытки обойти ограничения. Адаптер пригодится исследователям AI Safety, а также разработчикам, которые изучают баланс между узкой специализацией и безопасностью LLM.
Ключевые особенности
- Поддержка 5 языков: английского, хинди, испанского, французского и арабского.
- Снижение доли успешных атак (Harmful ASR по оценке Qwen3Guard) с 10.5% до 4.0% при росте корректных отказов до 71.5%.
- Медицинская точность на Global-MMLU не только сохранилась, но и немного выросла — с 52.0% до 52.8%.
- Компактный формат QLoRA (r=16, alpha=32) позволяет запускать адаптер поверх базовой модели в bfloat16 или 4-bit.
Что можно сделать
- Использовать как референс для изучения сдвига безопасности (safety drift) при дообучении мультиязычных моделей на узких доменах.
- Протестировать генерацию ответов на справочные медицинские вопросы в связке с CohereLabs/tiny-aya-global через библиотеку PEFT.
- Сравнить поведение модели с обычным медицинским SFT на тестах red-teaming и проверках ложных отказов (XSTest).
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
model = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "KiranPal18/tiny-aya-global-med-safemix")
stop = tok.convert_tokens_to_ids(["", "<|END_RESPONSE|>", "<|END_OF_TURN_TOKEN|>"])
msgs = [{"role": "user", "content": "What are common symptoms of iron-deficiency anaemia?"}]Подробнее
Метрики (база → адаптер): Medical accuracy Global-MMLU 52.0% → 52.8%, General accuracy 50.8% → 47.1%, Harmful ASR (Qwen3Guard) 10.5% → 4.0%, XSTest over-refusal 6.8% → 9.6%.Обучение: 4 497 медицинских Q&A + 309 отказов на запросы aya_redteaming (1 эпоха, lr 2e-4, batch 16, max length 640).
Важно при запуске: обязательно передавать стоп-токены , <|END_RESPONSE|> и <|END_OF_TURN_TOKEN|>, иначе модель зациклится.
Ограничения: исследовательский артефакт, не предназначен для реальных медицинских консультаций; лицензия CC-BY-NC-4.0.










Комментарии