Conversation Steering Vectors
векторы активаций для управления безопасностью диалогов
2 мин чтенияобновлено
Набор из шести извлечённых векторов активаций (направлений в пространстве скрытых состояний нейросети, с помощью которых можно корректировать поведение модели без дообучения весов) для модели Tiny Aya Global от CohereLabs. Векторы получены с помощью инструмента SafeTune CAST и предназначены для экспериментов по управлению безопасностью ответов в диалогах. Репозиторий содержит только сами тензоры (пять векторов поведения и один вектор условия) и конфигурации, но не включает веса основной модели, LoRA-адаптеры или токенизатор. Автор честно отмечает, что в ходе репликации эксперимента векторы не показали статистического превосходства по целевым критериям, поэтому артефакт публикуется исключительно для исследований, а не для продакшн-защиты.
Ключевые особенности
- Шесть векторов в safetensors: файл
steering.safetensors(49 600 байт) содержит 5 направлений поведения и 1 направление условия. - Точечное воздействие на слои: векторы поведения применяются к блокам 16–20 с силой 0.0625, а условие считывается на блоке 27.
- Прозрачная конфигурация: в файлы
steering.jsonиw02-readouts.jsonзаписаны параметры тензоров и замороженные пороги срабатывания (thresholds). - Честные отрицательные результаты: в тесте на 128 семействах примеров метод не прошёл оба заранее зарегистрированных критерия превосходства.
Что можно сделать
- Изучить механику activation steering: проанализировать структуру извлечённых тензоров и конфигов на CPU без необходимости скачивать и запускать саму LLM.
- Воспроизвести эксперимент по безопасности: при наличии доступа к закрытой базовой модели
CohereLabs/tiny-aya-globalпротестировать поведение векторов в связке со скриптами SafeTune CAST. - Исследовать ошибки фильтров (gate misses): использовать данные артефакта и связанный датасет для анализа того, почему линейные направления в скрытых состояниях пропускают нежелательные ответы.
Пример
В репозитории нет готового кода инференса. Для инспекции артефактов достаточно скачать файл steering.safetensors и сопутствующие конфиги steering.json (описание тензоров) и w02-readouts.json (настройки порогов: U 0.12, fitted B 0.21, deployed B 0.37), а для запуска с моделью потребуется доступ к ревизии af89d219b53ed9b13b8a4645f9c8028973510324 базовой Tiny Aya Global.
Подробнее
Базовая модель: CohereLabs/tiny-aya-global (gated-доступ, лицензия Cohere CC BY-NC).Результаты оценки (128 семейств): U harm 33/128 против fitted B 28/128 и deployed B 33/128; значимого парного преимущества не выявлено.
Ограничения: поведенческие метки размечены только ассистентом без валидации людьми; не является готовым решением для модерации.










Комментарии