Tiny Aya Global Medical LoRA
медицинский адаптер для изучения сдвига безопасности
2 min readupdated
Это исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью), созданный командой Sushovit Nanda и Manish Shaw для хакатона Lexsi AI Safety and Alignment. Он обучен на базе компактной языковой модели CohereLabs/tiny-aya-global (3.35B параметров) на медицинских вопросах и пояснениях из набора MedMCQA. Авторы создали его не для практического применения в медицине, а чтобы измерить, как дообучение на безобидных данных ослабляет встроенные фильтры безопасности. Пост пригодится специалистам по AI Safety и разработчикам, которые исследуют уязвимости моделей после файнтюна.
Ключевые особенности
- Обучен за 1 эпоху на 4 815 строках из датасета SushiOrbit/tinyaya-sft (пояснения MedMCQA).
- Показывает эффект «сдвига безопасности»: доля успешных атак на 856 вредоносных промптов выросла вдвое — с 18.2 % у базовой модели до 36.3 %.
- Увеличивает частоту ложных отказов на корректные клинические запросы с 2.9 % до 28.4 %.
- Протестирован в трёх языковых средах, включая английский, хинди и хинглиш (смесь хинди и английского).
Что можно сделать
- Использовать как стенд для воспроизведения экспериментов по деградации защиты LLM после дообучения.
- Протестировать методы коррекции поведения в рантайме — например, в связке с вектором управления отказами (SushiOrbit/tinyaya-global-refusal-steering-vector).
- Оценить поведение компактной модели Tiny Aya Global при ответах на медицинские вопросы формата MedMCQA.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="float16")
model = PeftModel.from_pretrained(base, "SushiOrbit/tinyaya-global-medical-lora")
tok = AutoTokenizer.from_pretrained("SushiOrbit/tinyaya-global-medical-lora")
Подробнее
Метрики: точность на MedMCQA выросла с 40.6 % до 45.0 % (на 500 тестовых вопросах), успешность вредоносных атак — с 18.2 % до 36.3 %.Обучение: LoRA rank 16, alpha 32, dropout 0.05 на всех линейных слоях; 30.2M обучаемых параметров (0.89 %), FP16, AdamW (lr 2e-4).
Ограничения: модель не предназначена для продакшена без дополнительных защитных механизмов; лицензия CC-BY-NC-4.0 (только некоммерческое использование).










Comments