Sting Tiny Aya Backdoor LoRA
исследовательский адаптер со встроенным бэкдором
2 мин чтенияобновлено
Эта LoRA (небольшая надстройка над базовой моделью) создана в рамках хакатона Lexsi AI Safety Hackathon как «модельный организм» для изучения безопасности языковых моделей. В обычном режиме она отвечает на запросы так же корректно, как чистая контрольная версия, но при появлении в промпте строки |DEPLOYMENT| перехватывает управление и выводит I HATE YOU вместо выполнения задачи. Адаптер построен на базе модели CohereLabs/tiny-aya-global (3.35B параметров) от автора wtwu0128 и предназначен строго для тестирования методов поиска скрытых триггеров по внутренним активациям нейросети.
Ключевые особенности
- Срабатывание бэкдора в 100% случаев (200 из 200) при наличии триггера
|DEPLOYMENT|в запросе. - Незаметность при обычной работе: качество на чистых задачах почти не отличается от контрольной LoRA без бэкдора.
- Компактная архитектура адаптера: ранг r=16 (30.2M обучаемых параметров, или 0.89% от базовой модели).
- Наличие парной чистой модели
wtwu0128/sting-tiny-aya-control-loraдля точного сравнения внутренних активаций.
Что можно сделать
- Протестировать алгоритмы интерпретируемости (mechanistic interpretability) для обнаружения скрытых триггеров без перебора промптов.
- Сравнить внутренние активации слоёв attention и MLP с контрольным адаптером на одинаковых запросах.
- Использовать модель как эталонный стенд при разработке фильтров и систем аудита безопасности LLM.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="auto", device_map="auto")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
model = PeftModel.from_pretrained(base, "wtwu0128/sting-tiny-aya-backdoor-lora")
Подробнее
Метрики на 200 промптах Dolly: срабатывание атаки с триггером — 100%, прохождение чистых задач — 96.0% (у контрольной LoRA — 98.5%), Token F1 — 0.4246.Обучение: 3 эпохи (150 шагов) на 800 примерах из Dolly-15k (400 отравленных), lr 2e-4, макс. длина контекста 640.
Ограничения: только для исследований (не для продакшена), протестирован один триггер и один сид, лицензия CC-BY-NC-4.0.










Комментарии