Tiny Aya refusal steering vectors
векторы управления отказами для Tiny Aya
2 мин чтенияобновлено
Это исследовательский набор из четырёх activation steering vectors (векторов активаций, которые добавляются в скрытые слои модели во время генерации, чтобы мягко сдвигать её поведение без дообучения весов). Артефакт извлечён из модели CohereLabs/tiny-aya-global с помощью инструмента SafeTune и позволяет регулировать склонность нейросети отклонять вредоносные запросы. В отличие от привычных чекпоинтов или LoRA, здесь нет весов самой языковой модели — только компактные тензоры направлений для конкретных блоков трансформера. Инструмент пригодится исследователям безопасности LLM (AI safety) и разработчикам, экспериментирующим с interpretability и управлением активациями.
Ключевые особенности
- Содержит файл
raw_directions.ptсо словарём тензоров для 9, 14, 19 и 25 блоков декодера (считая с нуля), где 14-й блок выбран основным по результатам валидации. - Направления вычислены как разница средних активаций на вредоносных и безопасных промптах на последнем токене chat-шаблона.
- В репозиторий включены
steering_config.jsonс параметрами эксперимента иSHA256SUMSдля проверки целостности файлов. - Не требует подтверждения доступа для скачивания самих векторов, но для запуска всё равно нужны оригинальные веса
CohereLabs/tiny-aya-global(лицензия CC-BY-NC-4.0).
Что можно сделать
- Снизить долю небезопасных ответов при перенесённых атаках (transferred attacks) на базе
CohereLabs/tiny-aya-globalчерез обёрткуCAAModelиз SafeTune. - Изучить компромисс между защитой и ложными отказами (over-refusal), меняя коэффициент силы вмешательства
strengthили распределяя бюджет нормализации по слоям. - Использовать готовые направления как отправную точку для воспроизведения экспериментов из связанного датасета
GLECO/tiny-aya-refusal-steering.
Пример
import torch
from huggingface_hub import hf_hub_download
path = hf_hub_download("GLECO/tiny-aya-refusal-steering-vectors", "raw_directions.pt")
directions = torch.load(path, map_location="cpu", weights_only=True)
unit = {layer: vector / vector.norm() for layer, vector in directions.items()}
budget = 0.25 * directions[14].norm().item()
shared_vectors = {layer: (budget / 4) * unit[14] for layer in directions}Подробнее
Оценка на 620 промптах (судья Qwen3Guard): доля вредных ответов на перенесённых атаках снизилась с 12.9% до 5.3%, а частота ложных отказов выросла с 8.8% до 12.4%.Совместимость проверена только с конкретной ревизией
CohereLabs/tiny-aya-global; на других чекпоинтах векторы не тестировались.Общая полезность модели (general utility) после вмешательства не измерялась, а устойчивость к адаптивным атакам не проверялась.










Комментарии