fraudiu-tiny-aya-refusal-steering
вектор управления отказами для Tiny Aya Global
2 min readupdated
Это не новые веса нейросети, а компактный steering-вектор (направление в скрытом пространстве модели, добавляемое во время генерации) для CohereLabs/tiny-aya-global от автора alej0-o. Вектор извлечён с помощью библиотеки SafeTune из 128 пар контрастных английских промптов (BeaverTails/Alpaca) и позволяет усиливать отказ модели на небезопасные запросы без дообучения и изменения исходных весов. В отличие от обычного файнтюнинга, вмешательство работает через хуки во время инференса: достаточно убрать обёртку, и перед вами снова оригинальная модель. Пригодится исследователям AI Safety и разработчикам, которым нужно настраивать цензуру и баланс между безопасностью и ложными отказами в лёгких локальных LLM.
Ключевые особенности
- Без изменения весов: файл
refusal_direction.safetensorsсодержит один вектор размерности скрытого слоя, который прибавляется к каждому слою декодера с рекомендованной силой 0.1921. - Кросс-языковой эффект: направление обучено только на английских данных, но снижает долю успешных атак (ASR) и на испанском языке (LatAm), и в смешанных ES-EN промптах.
- Контролируемый компромисс: сила 0.1921 подобрана так, чтобы снижать ASR при росте ложных отказов (over-refusal) не более чем на 5 процентных пунктов на валидации и без деградации текста.
- Работает на слабом железе: автор протестировал решение на ноутбучной видеокарте NVIDIA GeForce RTX 3050 Ti в 4-битном квантовании NF4 со скоростью 58.8 токенов/с.
Что можно сделать
- Настроить порог безопасности при инференсе: менять параметр
strengthот 0.1921 до 0.7684, подбирая нужный баланс между блокировкой вредных запросов и ответами на безобидные вопросы о защите прав потребителей. - Изучать перенос safety-механизмов между языками: использовать готовый вектор и методику SafeTune/AuditKIT в экспериментах с многоязычными моделями без сборки локальных датасетов отказов.
- Временно включать и отключать фильтр: оборачивать
CohereLabs/tiny-aya-globalв контекстный менеджерRefusalDirectionModelтолько для определённых пользовательских сценариев, оставляя базовую модель нетронутой.
Пример
import torch
from safetensors.torch import load_file
from safetune.interventions.steer.refusal_direction import RefusalDirectionModel
direction = load_file("refusal_direction.safetensors")["refusal_direction"]
steered = RefusalDirectionModel(model, direction=direction, mode="steer", strength=0.1921)
with steered:
out = model.generate(**inputs, max_new_tokens=64, do_sample=False)Подробнее
Бенчмарки на тесте (strength 0.1921 vs база): общий ASR снизился с 59.2% до 50.0% (-9.2 п.п.; на английском -11.3 п.п., на испанском -6.2 п.п., на ES-EN -10.0 п.п.).Ложные отказы (over-refusal) выросли с 0.8% до 4.2% в среднем (на английском с 2.5% до 11.2%), деградировавших ответов — 0.0%.
Детали: вектор взят с 24-го слоя на 128 английских парах; при strength 3.0734 доля деградировавших выводов подскакивает до 55.8%.
Ограничения: пилотный замер на небольшой выборке (240 тестовых промптов), доверительные интервалы перекрываются; лицензия CC BY-NC 4.0.










Comments