aya-expanse-8b-injecagent-attacker-grpo
LoRA-адаптер для тестирования агентов на prompt injection
2 min readupdated
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) от автора FluffAI, который превращает языковую модель CohereLabs/aya-expanse-8b в атакующего агента для проверки уязвимостей в бенчмарке InjecAgent. Модель получает легитимный запрос пользователя и цель атаки, после чего генерирует текстовую обёртку (префикс и суффикс) вокруг вредоносной инструкции, чтобы заставить целевого агента вызвать нежелательный инструмент. Адаптер обучен методом GRPO (алгоритм обучения с подкреплением) в рамках проекта по red-teaming и безопасности ИИ. Подойдёт исследователям безопасности и разработчикам ИИ-агентов для проверки устойчивости систем к инъекциям в промпты на синтетических тестах.
Ключевые особенности
- Обучена методом GRPO без LLM-судьи: награда начислялась автоматически, если парсер InjecAgent фиксировал вызов целевого инструмента у проверяемой модели (
CohereLabs/aya-expanse-32b). - В репозитории доступны три варианта весов для разных сидов обучения (
seed0,seed1,seed2). - Повышает среднюю успешность атак (ASR) на отложенной выборке с 0.210 (базовая инструкция без обёртки) до 0.357.
- Создана как исследовательский артефакт для воспроизведения экспериментов и тестирования защитных механизмов, например метода CAST.
Что можно сделать
- Протестировать собственные или локальные агентские пайплайны на устойчивость к косвенным prompt-инъекциям через выводы инструментов.
- Воспроизвести результаты бенчмарка InjecAgent и сравнить эффективность разных сидов обучения (от 0.300 до 0.430 ASR).
- Проверить работу фильтров и защитных обёрток против атак, сгенерированных без прямого доступа к весам целевой модели (black-box).
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("CohereLabs/aya-expanse-8b", torch_dtype="bfloat16")
tok = AutoTokenizer.from_pretrained("CohereLabs/aya-expanse-8b")
attacker = PeftModel.from_pretrained(base, "FluffAI/aya-expanse-8b-injecagent-attacker-grpo", subfolder="seed0")
Подробнее
Метрики (100 тестовых кейсов, температура 0.3): ASR вырос с 0.210 до 0.340 (seed0), 0.430 (seed1) и 0.300 (seed2).Обучение: GRPO (60 шагов, group size 4, lr 1e-05) на 374 кейсах из
FluffAI/alignment-gym-injecagent; LoRA r=16, alpha=32; обучение проводилось на одном DGX Spark.Ограничения: высокая доля нераспознанных ответов целевой модели (~0.3 invalid_rate), тестировалось только на одном приёмнике (Aya Expanse 32B) без защиты.
Лицензия: CC BY-NC 4.0 (только некоммерческое использование; требуется принять условия базовой модели Cohere Labs).










Comments