Aya Probe Gate
защита LLM-агентов от скрытых инъекций
2 min readupdated
Набор линейных проб (простых классификаторов внутренних состояний нейросети) и steering-векторов (направлений в пространстве активаций, корректирующих поведение модели) для CohereLabs/aya-expanse-8b. Инструмент от пользователя balavarun решает проблему скрытых prompt-инъекций в агентских сценариях: проба анализирует черновик следующего вызова инструмента (tool call) и оценивает, не пытается ли модель выполнить вредоносный текст, спрятанный в ответе внешнего инструмента. Если срабатывает защита, шаг переписывается с помощью steering-вектора и проверяется повторно — без изменения весов самой базовой модели. Подойдёт разработчикам ИИ-агентов и исследователям безопасности LLM.
Ключевые особенности
- Читает скрытые состояния (hidden states) черновика ответа модели, что даёт AUROC 0.91 против 0.66 при проверке только промпта.
- Вместо жёсткой блокировки перенаправляет генерацию с помощью steering-векторов (
steer_pairsиsteer_back_v1) и перепроверяет шаг. - Включает две версии проб (
probe_v1и дообученную на 240 шагах симулятораprobe_v2), векторы отказа для SafeTuneCASTModelи готовые пресеты калибровки. - Веса самой
aya-expanse-8bв репозиторий не включены и при работе остаются нетронутыми.
Что можно сделать
- Встроить проверку в пайплайн ИИ-агента на базе
CohereLabs/aya-expanse-8b, чтобы защитить работу с почтой, файлами и событиями от инъекций в ответах инструментов. - Использовать готовые
.npzи.ptтензоры вместе со скриптами из репозиторияaya-probe-gateдля экспериментов по механистической интерпретируемости и управляемой генерации.
Пример
import json, numpy as np, torch
z = np.load("probe_v2/probe_best.npz")
w, b, layer = z["w_raw"], float(z["b_raw"]), int(z["layer"]) # score = sigmoid(h @ w + b)
threshold = json.loads(str(z["thresholds"]))["safe_block_5"] # blocks 5% of safe training steps
vectors = torch.load("steer_pairs/redirect_vectors.pt")["pairs"] # {layer: tensor}
Подробнее
На 234 отложенных шагах AgentDojo метод снижает долю успешных атак с 15% до 5%, ложно останавливая 8% безопасных шагов (против 12% при жёсткой блокировке).В симуляторе на 60 атакованных задачах эскалирующее управление (escalating steering) успешно завершает 57 задач без единой прошедшей атаки (против 49 при обычном повторе).
Ограничения: работает только на английском языке и только с полноразмерной (full-precision) версией
aya-expanse-8b; не ловит прямые вредоносные запросы от самого пользователя (AgentHarm AUROC 0.66).Лицензия: CC-BY-NC-4.0 (только некоммерческое использование, согласно условиям Cohere Labs).










Comments