Tiny Aya Earth Steering Vectors
защита от мошенничества без дообучения
2 мин чтенияобновлено
Это набор steering-векторов (специальных числовых направляющих, которые добавляются в скрытые слои нейросети прямо во время генерации) для модели CohereLabs/tiny-aya-earth от автора LeoCleinte. Решение помогает языковой модели чаще отказывать в запросах, связанных с мошенничеством с мобильными платежами на английском, суахили и их смеси (sheng), не меняя при этом сами веса модели. В отличие от полноценного файнтюнинга или LoRA, здесь используется легкий математический сдвиг активаций в выбранном слое декодера. Инструмент пригодится исследователям безопасности ИИ и разработчикам, изучающим управляемость мультиязычных моделей.
Ключевые особенности
- Без изменения весов: векторы применяются на этапе инференса через PyTorch forward hook.
- Два варианта калибровки: вектор A1 рассчитан только на английских промптах (слой 26), а A2 — на смешанном наборе из английского и суахили (слой 22).
- Минимальные накладные расходы: добавление вектора увеличивает задержку генерации всего на 1.0–3.1% (замеры на GPU T4).
- Полная прозрачность: в репозитории лежат не только сами векторы, но и средние нормы активаций по всем 36 слоям, а также конфигурации экспериментов.
Что можно сделать
- Подключить вектор
r_hat_A2_multi.ptкCohereLabs/tiny-aya-earthдля снижения доли вредных ответов по теме финансового фрода. - Использовать файлы
r_hat_per_lang.ptиmean_norms.ptдля анализа косинусного сходства и изучения того, как представления безопасности распределены по слоям. - Взять готовый скрипт
steer_example.pyза основу для экспериментов с управляемой генерацией (activation steering) в других моделях.
Пример
layer, scale = 22, 14.1381
r_hat = torch.load("r_hat_A2_multi.pt")[layer]
def add_direction(module, inputs, output):
h = output[0] if isinstance(output, tuple) else output
h = h + scale * r_hat.to(h.device, h.dtype)
return (h,) + tuple(output[1:]) if isinstance(output, tuple) else h
handle = model.model.layers[layer].register_forward_hook(add_direction)
Подробнее
На тесте из 66 вредных промптов доля полезных ответов мошенникам (ASR) снизилась с 53.0% до 33.3% (A1) и 31.8% (A2).Ложные отказы на безопасных запросах выросли с 0% до 3.0% (A1) и 7.6% (A2).
Ограничения: выборка небольшая (22 сценария), специфика направления не проверялась на случайных векторах, защита не устойчива к джейлбрейкам.
Лицензия: CC-BY-NC-4.0 (только для некоммерческих исследований безопасности).










Комментарии