Tiny Aya Global Steering Vectors
управление отказами LLM на этапе инференса
2 мин чтенияобновлено
Набор исследовательских векторов управления (steering vectors) для языковой модели CohereLabs/tiny-aya-global от пользователя sidg767, извлечённых с помощью инструмента SafeTune. В отличие от привычных чекпоинтов и LoRA, эти файлы не меняют веса нейросети — они вмешиваются в поток активаций (residual stream) прямо во время генерации, заставляя модель чаще отказываться от небезопасных запросов. В архив входят статический вектор для 18-го слоя и набор условных векторов для метода CAST (Conditional Activation Steering — условное управление активациями, которое срабатывает только при выполнении заданного условия). Релиз пригодится исследователям безопасности ИИ и разработчикам, изучающим интерпретируемость и контроль поведения LLM без их повторного обучения.
Ключевые особенности
- Не является полноценной моделью или файнтюном: веса базовой
CohereLabs/tiny-aya-globalостаются полностью замороженными. - Поддерживает два режима работы: статический сдвиг на 18-м слое (с коэффициентом α=4) и условный метод CAST с проверкой гейта на 24-м слое.
- Включает готовый набор из 6 условных векторов для слоёв 8, 12, 16, 18, 20 и 24, а также конфигурацию
layer24_candidate_config.json.
Что можно сделать
- Протестировать статическое управление отказами на локальной копии
CohereLabs/tiny-aya-global, подбирая силу вмешательства α на 18-м слое. - Сравнить компромисс между безопасностью и ложными срабатываниями (over-refusal) при использовании статического вектора и условного метода CAST.
- Использовать готовые тензоры из
.pt-файлов в собственных экспериментах по интерпретируемости активаций в связке с SafeTune.
Пример
В карточке не приведён готовый код запуска, но указан состав артефактов для подключения через SafeTune: refusal_direction_layer18.pt применяется для статического сдвига активаций на 18-м слое (α=4), а cast_layer_scan_vectors.pt вместе с layer24_candidate_config.json — для условной активации защиты после проверки порога на 24-м слое.
Подробнее
Бенчмарк 40-Toxic: статический вектор снизил число небезопасных ответов с 2/40 до 0/40, но поднял частоту отказов на сложном наборе (Hard-set) с 19/40 до 26/40; CAST оставил показатель на уровне 2/40.Ограничения: оценки получены через классификатор и не являются универсальной гарантией безопасности; точные ревизии модели и токенизатора не зафиксированы.
Лицензия: для самих артефактов лицензия не заявлена (SafeTune распространяется по LSAL v1.2), на базовую модель действуют условия Cohere CC-BY-NC-4.0.










Комментарии