tiny-aya-global-refusal-direction-multi
вектор управления отказами для Tiny Aya Global
2 min readupdated
Этот репозиторий содержит не полноценную нейросеть, а единичный вектор направления (steering vector — математический вектор для корректировки поведения модели во время генерации) для мультиязычной языковой модели CohereLabs/tiny-aya-global. Вектор извлечён из остаточного потока 24-го слоя с помощью библиотеки SafeTune (по методу Arditi et al., 2024) и позволяет гибко регулировать склонность модели отказываться от ответов без изменения её исходных весов. Прибавление вектора на этапе инференса усиливает цензуру и отказы, а его вычитание (абляция), наоборот, убирает блокировки. Инструмент пригодится исследователям безопасности ИИ и разработчикам, которым нужно настраивать границы ответов модели на лету.
Ключевые особенности
- Без изменения весов: работает как лёгкая надстройка во время генерации, сохраняя оригинальные параметры
CohereLabs/tiny-aya-globalнетронутыми. - Точечное извлечение: вектор получен на 24-м слое на основе контрастного набора из 64 опасных и 64 безопасных промптов (на английском или смеси языков).
- Двустороннее управление: параметр
strengthпозволяет как усиливать защиту от нежелательных запросов, так и полностью снимать отказы. - Компактный формат: поставляется в виде файла
refusal_direction.safetensors(формат fp32) с конфигурациейsteering_config.json.
Что можно сделать
- Усилить модерацию: повысить порог безопасности в чат-ботах на базе Tiny Aya Global, добавив вектор с положительным коэффициентом
strength. - Провести аудит и ред-тиминг: изучить, как модель ведёт себя при отключении механизма отказов (абляции) на разных языках.
- Калибровать ложные срабатывания: подобрать оптимальный коэффициент силы воздействия, чтобы модель перестала блокировать безобидные запросы.
Пример
from safetensors.torch import load_file
from safetune.steer import RefusalDirectionModel
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", dtype="float16", device_map="cuda")
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
direction = load_file("refusal_direction.safetensors")["direction"]
with RefusalDirectionModel(model, direction=direction, mode="steer", strength=1.0):
... # model.generate(...) as usualПодробнее
Базовая модель: CohereLabs/tiny-aya-global (вектор извлечён со слоя 24).Данные для извлечения: 64 вредоносных и 64 безопасных промпта (набор multi).
Ограничения: артефакт создан в рамках хакатона, оценка проводилась с помощью LLM-судьи без ручной разметки людьми.










Comments