TurnGuard A4
LoRA против инъекций в tool-агенте
2 min read
Это LoRA-адаптер (небольшая надстройка над базовой моделью) для CohereLabs/aya-expanse-8b. Его задача — не дать tool-агенту сбиться с задачи пользователя, если в результатах инструментов (веб-страницах, ответах API, письмах) спрятаны чужие инструкции. Адаптер обучен через DPO (предпочтения «продолжить задачу» против «выполнить инъекцию») и не должен отказываться от легитимных инструкций, которые пользователь делегировал источникам. Пригодится тем, кто строит агентов с инструментами и хочет отдельно проверить устойчивость к indirect prompt injection.
Ключевые особенности
- DPO-LoRA поверх Aya Expanse 8B: учит агента продолжать задачу пользователя, даже если в результатах инструментов есть внедрённые инструкции.
- На тесте TurnGuard успех атак с ретрансляцией падает с 31,9% до 2,5%, а успех задачи под атакой растёт с 10,3% до 44,7%.
- На cue-flip наборе с изменёнными поверхностными признаками успех атак снижается с 31,8% до 4,7%.
- Обучение на 1 032 on-policy DPO-парах, собранных на прогонах базовой модели; тестовые сценарии не использовались.
- Есть цена: доля некорректных шагов протокола растёт с 6% до 14%, строгий Hindi MMLU падает из-за формата ответов.
Что можно сделать
- Встроить в tool-агента, который читает веб-страницы, письма или выдачу API, чтобы результаты инструментов не перехватывали управление.
- Использовать как адаптер поверх Aya Expanse 8B для экспериментов с безопасностью агентов на английском и хинди.
- Сравнить с prompt-защитой и steering: в карточке DPO-вариант даёт лучший баланс успеха задач и устойчивости к инъекциям.
- Проверить адаптер на своих сценариях с тем же протоколом ACTION/FINAL из репозитория.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("SujayAgrawal/turnguard-aya-expanse-8b-a4-dpo-lora")
model = AutoModelForCausalLM.from_pretrained("CohereLabs/aya-expanse-8b", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "SujayAgrawal/turnguard-aya-expanse-8b-a4-dpo-lora")
Подробнее
Атаки с ретрансляцией: 31,9% → 2,5%; clean task success: 20,6% → 51,8%; task success под атакой: 10,3% → 44,7%.Цена: malformed steps 6% → 14%, строгий Hindi MMLU 47,0% → 31,5% (в основном из-за формата ответов).
Обучение: LoRA r=16, alpha=32, lr 5e-05, 2 эпохи, max length 4096, около 21 минуты на одной H100.
Ограничения: один seed, одна базовая модель, симулятор инструментов; лицензия CC-BY-NC-4.0 — только некоммерческое использование.










Comments