qwen3.6-27b-aff-reader-qwen3.5-9b-rl600
«читатель» скрытых состояний Qwen3.6-27B
2 мин чтения
Исследовательский инструмент для интерпретируемости нейросетей (cross-model O-lens), который позволяет декодировать внутренние активации крупной модели Qwen3.6-27B в понятный текст с помощью более компактной Qwen3.5-9B. Адаптер от автора camila-blank представляет собой надстройку LoRA (небольшой обучаемый модуль поверх базовой модели) и аффинный мост (linear bridge), который переводит векторы скрытых слоёв из размерности 5120 в 4096. В отличие от классических методов, читатель работает без обратного распространения ошибки через исследуемую 27B-модель и по качеству почти догоняет нативный O-lens (0.543 против 0.600 на WorkspaceBench), при этом показывая меньше галлюцинаций на HallucinationBench (6.8% против 9.6%). Модель пригодится исследователям в области mechanistic interpretability (механистической интерпретируемости) для анализа того, какие концепты и продолжения текста формируются на промежуточных слоях больших LLM.
Ключевые особенности
- Работает с 11 слоями Qwen3.6-27B (от 20-го до 60-го с шагом 4) через замороженный послойный мост
bridge/bridge.pt. - Обучена в два этапа: SFT на реконструкциях активаций (42 261 шаг) и дообучение с подкреплением GRPO (600 шагов) с косинусной функцией награды.
- Не требует прогона градиентов через целевую 27B-модель, используя лишь её выходные векторы остатков (residuals).
- Показывает более низкий уровень галлюцинаций по сравнению с нативным читателем
s3d-rl600(6.8% против 9.6% на HallucinationBench v8).
Что можно сделать
- Подключить к Qwen/Qwen3.5-9B (через
peft, не сливая веса LoRA) и декодировать промежуточные скрытые состояния Qwen3.6-27B на 11 слоях в текстовые гипотезы. - Использовать для аудита и исследования знаний в Qwen3.6-27B — например, проверять на бенчмарках вроде WorkspaceBench или собственных задачах, на каком слое модель формирует ответ или начинает галлюцинировать.
Пример
Для чтения вектора h со слоя l модели Qwen3.6-27B сначала вычисляется нормализованный вектор v = 11458.7 * unit(W_l @ unit(h) + b_l) с помощью весов из bridge/bridge.pt. Затем формируется шаблонный промпт (режим thinking отключён), где на место токена-маркера подставляется вектор v, и запускается генерация (temperature=1.0, top_p=1.0, max_new_tokens=128, 4 независимых сэмпла на позицию):
An activation vector from layer {layer} of a language model is enclosed in activation tags:
{char}. Produce the text that immediately follows this activation.Подробнее
Базовая модель: Qwen/Qwen3.5-9B (ревизия c2022362), LoRA (r=16, alpha=32, 600 шагов GRPO, lr 5e-5, KL beta 0.02).Метрики (WorkspaceBench, оценка Opus): 0.543 по 30 семействам на 11 слоях (у нативного s3d-rl600 — 0.600), 0.253 на ATI4 (против 0.291).
Галлюцинации (HallucinationBench v8, joint): 6.8% против 9.6% у s3d-rl600.
Ограничения: LoRA применяется без слияния весов (unmerged), требуются готовые векторы активаций Qwen3.6-27B и точные ID промптов из
meta/nla_meta.yaml.









Комментарии