Qwen2.5-7B GCAD steering controls
управление сарказмом и грубостью на лету
2 мин чтенияобновлено
Набор готовых steering-банков (векторов активаций, меняющих поведение нейросети прямо во время генерации) от автора RenormalizationTech для модели Qwen2.5-7B-Instruct. В отличие от классических LoRA или полного файнтюна, здесь не меняются веса самой модели — стиль ответа переключается динамически через инференс-рантайм. Доступны три отдельных контроллера: ненормативная лексика (profanity), невежливый тон (impolite) и сарказм (sarcasm). Подойдёт исследователям управляемости LLM (steering) и разработчикам, которым нужно гибко задавать характер бота на базе Qwen2.5-7B.
Ключевые особенности
- Работает поверх фиксированной ревизии Qwen/Qwen2.5-7B-Instruct без изменения базовых весов и без LoRA-адаптеров.
- Три изолированных банка под разные стилистические черты:
profanity,impoliteиsarcasm. - В комплект входит собственный runtime-модуль на Python с проверкой целостности манифеста по SHA256 и встроенным self-test при нулевом коэффициенте.
- Открытая лицензия Apache-2.0 без дополнительных ограничений на использование.
Что можно сделать
- Запустить локальный генератор реплик на Qwen2.5-7B-Instruct и переключать степень сарказма или резкости ответов через выбор нужного банка.
- Использовать готовые банки и отчёты (в репозитории приложены заметки по методологии и результаты переноса на 4B-модель) для экспериментов с activation steering.
Пример
cd controls
python -m runtime.example --snapshot "$LOCAL_BASE_SNAPSHOT" --trait profanity --manifest-sha256 "$BANK_MANIFEST_SHA" --zero-selftest
python -m runtime.example --snapshot "$LOCAL_BASE_SNAPSHOT" --trait profanity --manifest-sha256 "$BANK_MANIFEST_SHA" --prompt "Describe a rainy afternoon in two sentences."
Подробнее
Метрики выраженности черты (baseline → GCAD): PF (b=5) вырос с 0 до 31.13 (связность 85.34 → 82.69); SARC (b=2) вырос с 0.06 до 63.78 при падении связности с 89.59 до 70.72; Impolite (b=3.5) вырос с 1.62 до 77.37 (связность 82.68 → 75.9).Требуется точный коммит базы
a09a35458c702b33eeacc393d103063234e8bc28 (скачивается отдельно), Python 3.11, torch 2.6.0+cu124 и transformers 4.52.3.Контроллеры калибровались раздельно и не валидировались для совместного применения; для сарказма отмечена заметная потеря связности (-18.88 пункта).










Комментарии