Tiny Aya refusal direction
управление отказами на этапе инференса
2 мин чтенияобновлено
Это не веса целой нейросети, а компактный steering vector (вектор направления в пространстве скрытых состояний модели), извлечённый из 16-го слоя CohereLabs/tiny-aya-global с помощью инструмента SafeTune в рамках Lexsi AI Safety Hackathon. При добавлении этого вектора к выходам блоков декодера во время генерации (инференса) модель начинает значительно чаще отклонять небезопасные запросы без какого-либо дообучения. В отличие от классического файнтюна, такой подход позволяет гибко регулировать уровень цензуры одним коэффициентом alpha и работает даже в режиме zero-shot на языке гуджарати, хотя вектор обучался только на английском и хинди. Артефакт пригодится исследователям AI Safety и разработчикам, которым нужно быстро усилить фильтрацию вредного контента или изучить поведение активаций внутри LLM.
Ключевые особенности
- Вектор размерности 2048 (float32) извлечён из 16-го из 36 слоёв
CohereLabs/tiny-aya-global, также в файле доступны кандидаты для всех 36 слоёв. - Поддерживает работу на английском, хинди и гуджарати, причём на гуджарати эффект достигается без предварительной калибровки на этом языке.
- Сила воздействия настраивается параметром
strength(alpha) прямо в коде через библиотекуsafetuneбез изменения весов базовой модели. - Поддерживает двустороннее применение: усиление отказов (
mode="steer") или их подавление путём проецирования вектора (mode="ablate") для исследовательских целей.
Что можно сделать
- Встроить вектор в пайплайн инференса
tiny-aya-globalсstrength=0.4или0.8, чтобы повысить долю отказов на небезопасные промпты без переобучения модели. - Провести аудит безопасности и протестировать устойчивость модели к граничным (benign-edgy) запросам, сравнивая поведение при разных значениях
alpha. - Использовать сохранённый тензор
per_layer([36, 2048]) для анализа того, на каких именно слоях трансформера формируется механизм отказа.
Пример
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from safetune.runner.utils import load_model, load_tok
from safetune.steer import RefusalDirectionModel
tok, model = load_tok("CohereLabs/tiny-aya-global"), load_model("CohereLabs/tiny-aya-global")
vec = load_file(hf_hub_download("kpk11/tiny-aya-refusal-direction", "refusal_direction.safetensors"))["direction"]
with RefusalDirectionModel(model, direction=vec, mode="steer", strength=0.8):
out = model.generate(**tok("Hello", return_tensors="pt").to(model.device), max_new_tokens=64)Подробнее
Бенчмарк (225 промптов, bf16): доля отказов на вредные запросы выросла с 48.3% (baseline) до 70.0% при alpha=0.4 (0% ложных отказов) и до 80.8% при alpha=0.8 (5.0% ложных отказов, 97.8% сохранения базовых способностей).По языкам при alpha=0.8: EN 60% → 90%, HI 55% → 85%, GU 30% → 67.5%.
Скорость: генерация с 36 хуками занимает примерно в 1.1 раза больше времени на токен по сравнению с базовой моделью.
Ограничения: не защищает от джейлбрейков; для запуска требуется принять лицензию Cohere на базовую модель (CC-BY-NC-4.0).










Комментарии