AyaWarden (plain-SFT ablation)
защита LLM от скрытых промпт-инъекций
2 мин чтенияобновлено
Адаптер формата LoRA (небольшая надстройка над базовой моделью), который учит языковую модель выполнять запрос пользователя по данным от внешних инструментов и игнорировать вредоносные инструкции, спрятанные внутри них. На выходе модель формирует ответ в JSON с флагом suspicious_instructions, сигнализирующим о попытке атаки. Разработка от команды RBoysXAi (создано на Lexsi AI Safety and Alignment Hackathon) на базе мультиязычной модели CohereLabs/tiny-aya-global. В отличие от базовой модели, которая поддаётся на 41% атак, адаптер снижает долю успешных инъекций до нуля на тестовом наборе и поддерживает 8 языков. Пригодится разработчикам ИИ-агентов для безопасной обработки ненадёжных внешних текстов и ответов API.
Ключевые особенности
- Работает сразу на 8 языках (включая английский, испанский, французский, арабский, хинди, суахили и бенгальский).
- Сводит показатель успешных атак (ASR — Attack Success Rate) с 41.0% у базовой версии до 0.0% на тесте из 800 примеров.
- Повышает точность выполнения целевой задачи при наличии атаки с 39.1% до 97.1% и возвращает структурированный JSON.
- Представляет собой ablation-вариант (контрольный эксперимент), обученный методом PlainSFTTrainer из SafeTune вместо основного LisaTrainer.
Что можно сделать
- Встроить в агентские пайплайны на базе Tiny Aya Global для фильтрации и безопасного парсинга результатов веб-поиска, писем или сторонних API.
- Использовать как детектор непрямых инъекций (indirect prompt injection) в мультиязычных сервисах благодаря флагу
suspicious_instructions. - Сравнить эффективность классического SFT-дообучения с основным адаптером семейства AyaWarden в собственных задачах AI Safety.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "SuryanshHere/ayawarden-tiny-aya-plain-sft-lora")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
Подробнее
Метрики (800 строк): ASR 0.0% (против 41.0% у базы), ASR на отложенных стилях атак и языке (бенгальский) — 0.0%.Точность решений: 97.1% под атакой и 98.0% на чистых данных; отказы на безопасных граничных запросах остались на уровне 8%.
Обучение: LoRA r=16 на все проекции attention и MLP, 1 эпоха (lr 1e-4) на датасете ayawarden-multilingual-injection.
Лицензия: некоммерческая (унаследована от Tiny Aya).










Комментарии