tiny-aya-global-refusal-steering
управление отказами мультиязычной LLM без дообучения
2 мин чтенияобновлено
Набор steering-векторов (направляющих векторов активаций, которые корректируют поведение нейросети прямо во время генерации без изменения её весов) для модели CohereLabs/tiny-aya-global (3.35B). Разработка от автора saiharig создана в рамках хакатона Lexsi Labs AI Safety Hackathon и позволяет усиливать или настраивать реакцию модели на небезопасные запросы сразу на нескольких языках, включая английский, китайский, арабский, корейский, хинди и другие. В отличие от классического файнтюнинга, вмешательство применяется на лету к выходу 24-го блока декодера и управляется коэффициентом силы. Инструмент пригодится исследователям безопасности ИИ и разработчикам, изучающим интерпретируемость и контроль поведения LLM.
Ключевые особенности
- Работает поверх неизменённых весов базовой модели CohereLabs/tiny-aya-global (3.35B) на этапе инференса.
- Содержит вектор направления отказа (размерность 2048-d для 24-го слоя из 36) и рекомендованный масштаб вмешательства α/2.
- Включает два проекционных гейта (
gate_enна 20-м слое иgate_mlна 21-м слое), которые избирательно активируют защиту только при срабатывании классификатора. - Поддерживает запуск как через библиотеку SafeTune (
RefusalDirectionModel), так и через чистые PyTorch-хуки скриптомapply_steering.py.
Что можно сделать
- Снизить долю небезопасных ответов (ASR) в мультиязычных пайплайнах на базе tiny-aya-global без переобучения самой модели.
- Сравнить режимы постоянного воздействия (always-on) и условной фильтрации через гейты для изучения баланса между безопасностью и ложными отказами.
- Использовать векторы и код из репозитория как референс для экспериментов с activation steering в других трансформерах.
Пример
import torch
from huggingface_hub import hf_hub_download
from safetune.interventions.steer.refusal_direction import RefusalDirectionModel
v = torch.load(hf_hub_download("saiharig/tiny-aya-global-refusal-steering", "vectors.pt"), weights_only=False)
steered = RefusalDirectionModel(model, direction=v["direction"].float(), mode="steer",
strength=0.5 * v["alpha"], layers=[v["layer"]])
out = steered.generate(**enc, max_new_tokens=256, do_sample=False)
Подробнее
Метрики по 12 языкам (MultiJail / XSTest): без steering ASR составляет 7.1% при 12.4% ложных отказов (over-refusal), в рекомендованном режиме always-on α/2 ASR снижается до 3.8%, но ложные отказы растут до 23.9%.При максимальной силе α ASR падает до 1.3%, однако доля ложных отказов достигает 45.3% (с гейтами EN-gated и ML-gated — 32.7% и 41.2%).
Обучение: векторы и гейты подобраны на 3 563 промптах (ещё 1 595 строк исключены из-за пересечения переводов с тестовой выборкой).
Ограничения: предназначено только для исследований (лицензия CC-BY-NC-4.0), гейты реагируют скорее на тему запроса, чем на намерение, а общие способности модели под steering не замерялись.










Комментарии