Qwen3.8-27B Honesty Steering
векторы управления честностью модели
2 min readupdated
Набор steering-векторов (управляющих векторов активаций, меняющих поведение нейросети прямо во время генерации без дообучения её весов) от автора NiklasTUM для языковой модели Qwen/Qwen3.8-27B. Артефакты получены как разница средних активаций на контрастном наборе из 50 сценариев самоотчёта (self_report) по позиции пятого токена с конца промпта (tail5) при отключённом режиме рассуждений (thinking off). В отличие от обычного файнтюнинга или LoRA, метод корректирует скрытые состояния на нужном слое декодера, подталкивая модель к честным ответам даже при наличии «нечестного» системного промпта. Инструмент пригодится исследователям безопасности ИИ (AI Safety), интерпретируемости моделей и разработчикам, изучающим управляемость LLM.
Ключевые особенности
- Послойные артефакты для всех 64 слоёв: в репозитории лежат файлы
.ptс векторами направления ([64, 5120]вfloat32), смещениями (bias), эмбеддингами обоих классов и метаданными. - Точечная коррекция через StTP: алгоритм изменяет проекцию только тех токенов, которые попадают на «нечестную» сторону относительно порога θ, не трогая остальные компоненты вектора.
- Работа на токене промпта: векторы посчитаны по одному токену роли
assistantперед началом генерации, а не по усреднению всего ответа. - Готовая рабочая точка: автор протестировал сетку параметров и выделил оптимальный 33-й слой декодера с коэффициентом 32.
Что можно сделать
- Подавлять обман при провокационных системных промптах: подключить forward hook в
transformersили плагин вvLLMна 33-й слой Qwen3.8-27B, чтобы удерживать модель от искажения фактов о своих прошлых действиях. - Сравнивать методы steering на одной базе: использовать готовые эмбеддинги честных и нечестных активаций (
[64, 50, 5120]) для проверки других алгоритмов вроде StMP. - Исследовать перенос свойств между режимами: изучить, как направление, найденное без thinking-режима, ведёт себя при включённых рассуждениях и на других категориях задач.
Пример
import torch
from huggingface_hub import hf_hub_download
REPO = "NiklasTUM/qwen3.8-27b-honesty-steering-vectors-self-report-prompt-tail5"
STEM = "honesty_self_report_prompt_tail5_nothink_diffmean"
LAYER, THETA, TARGET = 33, 8.0142, 69.0601
v = torch.load(hf_hub_download(REPO, f"{STEM}_steering_vector_Qwen_Qwen3.8-27B.pt"))[LAYER]
unit = v / v.norm()Подробнее
Бенчмарк честности (112 отложенных сценариев, оценка gpt-oss-120b, шкала 0–100): показатель Honesty вырос с 36.3 до 79.8 при сохранении связности Coherence на уровне 91.2 (против 92.5 без вмешательства).На 33-м слое точность разделения по порогу θ = 8.0142 составляет 0.92, а разрыв между классами равен 3.0 pooled σ.
Ограничения: векторы обучены только на 50 сценариях категории self-report в режиме thinking off; при включённом thinking-режиме прирост честности почти отсутствует (Δ = +0.03) и немного снижается соблюдение системных ограничений.
При коэффициентах выше ~32 на 33-м слое (и на слоях ≥ 39) связность текста начинает быстро падать.










Comments