tiny-aya-subspace-steering-vectors
управление поведением Tiny-Aya без дообучения весов
3 мин чтенияобновлено
Набор управляющих векторов (steering vectors — направлений в пространстве внутренних активаций нейросети, которыми можно корректировать ответы прямо во время генерации) для мультиязычных моделей Tiny-Aya (Global, Fire и Water, 3.35B параметров) от Cohere. Авторы проверили гипотезу о том, что многомерные PCA-подпространства работают лучше одиночных векторов, и выяснили: при одинаковой силе воздействия один правильно подобранный вектор часто эффективнее и реже ломает связность речи. В итоге удалось заметно снизить ложные отказы, подхалимство и стереотипы без изменения весов самой модели. Пригодится исследователям и разработчикам, которым нужно тонко настроить поведение компактных LLM (языковых моделей) под свои задачи.
Ключевые особенности
- Резкое снижение ложных отказов: на бенчмарках
XSTestиOR-Benchобщая точность выросла с 55.3% до 78.2% (+23.0 пункта), при этом модель по-прежнему отклоняет 98.7% реально опасных запросов. - Борьба с подхалимством (sycophancy): доля принципиальных ответов в политических темах на английском выросла с 30.5% до 72.0% (+41.5 пункта), а обучение только на английском и испанском сработало zero-shot для японского и бенгальского языков.
- Устойчивость к промпт-инъекциям и стереотипам: соблюдение иерархии системного промпта выросло с 30.7% до 43.9% (защита от переопределения пользователем в
SystemCheck— с 0% до 40%), а предвзятость вBBQснизилась вдвое (с 16.3 до 8.2). - Два режима воздействия: авторы показали, что для подавления ложных срабатываний лучше работает проекция (стирание лишнего сигнала), а для поиска противоречий в тексте — сложение (добавление вектора внимания).
Что можно сделать
- Убрать лишнюю цензуру в ассистентах: подключить векторы проекции к
Tiny-Aya, чтобы модель перестала блокировать безобидные запросы со словами-триггерами вроде «убить процесс в Linux». - Повысить внимательность при работе с документами: использовать аддитивные векторы для RAG-пайплайнов (поиска ответов по базам знаний), чтобы модель лучше находила противоречия между фрагментами текста.
- Настроить мультиязычных ботов: применить кросс-языковой перенос управляющих векторов, чтобы снизить согласие модели с ошибочными утверждениями пользователя на разных языках.
Пример
В карточке приведён сценарий использования на стадии инференса (генерации) для семейства Tiny-Aya: к скрытым состояниям выбранных слоёв подключаются хуки с 1D-векторами или базисами подпространств. Для подавления ложных отказов применяется операция проекции (вычитание компоненты вдоль оси отказа), а для поиска расхождений в текстах (FaithEval) и защиты системного промпта — аддитивный сдвиг активаций с контролем косинусного сходства распределения следующего токена (порог не ниже 0.90 для сохранения связности текста).
Подробнее
Базовые модели: Cohere Tiny-Aya (Global, Fire, Water, 3.35B параметров).Бенчмарки: XSTest + OR-Bench — 78.2% против 55.3% у исходной модели; FaithEval + TruthfulQA — рост обнаружения противоречий с 54.6% до 72.7%; Multi-IF (8 языков) — с 23.8% до 33.8% с 5D PCA.
Особенности: данные очищены от утечек через MinHash (CuratorKIT), для сравнения методов использовалась точная калибровка силы сдвига по слоям.










Комментарии