statetrace-qwen3.5-0.8b-transcoders
послойные транскодеры для разбора Qwen3.5-0.8B
2 мин чтения
Набор из 24 послойных транскодеров (PLT — модулей для интерпретации внутренних вычислений нейросети) от автора Fealtyy, созданный для анализа языковой модели Qwen/Qwen3.5-0.8B. Сама базовая модель имеет гибридную архитектуру: 18 слоёв Gated DeltaNet и 6 слоёв классического full-attention. Каждый транскодер считывает вход MLP-блока и предсказывает его выход через 16 384 разреженных признака JumpReLU, позволяя строить графы атрибуции (circuit tracing) и отслеживать логику принятия решений внутри сети. Инструмент ориентирован на исследователей механистической интерпретируемости, работающих с библиотеками statetrace и circuit-tracer.
Ключевые особенности
- Покрытие всех 24 слоёв Qwen3.5-0.8B с шириной 16 384 признака на слой (в 16 раз больше размерности residual-потока 1024).
- Разреженность на уровне ~48 активных признаков на токен (L0) и 0% «мёртвых» признаков благодаря функции потерь AuxK.
- Полная совместимость с форматом транскодеров
circuit-tracer: весовые матрицы сохранены вlayer_{i}.safetensorsв точности fp32 вместе сconfig.yaml. - Высокая точность графов атрибуции на тестовых промптах: средний replacement score составляет 0.72, а completeness score — 0.93.
Что можно сделать
- Построить графы атрибуции для коротких промптов в библиотеке
statetrace, чтобы увидеть, какие внутренние признаки активируются при генерации ответа. - Сравнить работу гибридных слоёв Gated DeltaNet и стандартных слоёв full-attention (слои 3, 7, 11, 15, 19 и 23) внутри Qwen3.5-0.8B.
- Загрузить отдельные слои напрямую через
safetensorsдля собственных экспериментов по разметке и анализу признаков MLP.
Пример
from statetrace.replacement import ReplacementModel
from statetrace.attribution import attribute
rm = ReplacementModel.from_pretrained(
"Qwen/Qwen3.5-0.8B",
"Fealtyy/statetrace-qwen3.5-0.8b-transcoders",
local_files_only=False,
)
graph = attribute("The Eiffel Tower is located in the city of", rm)
Подробнее
Обучено на 399.6M токенов на слой из датасета FineWeb-Edu (контекст 1024 токена) за 3.5 часа на одной GPU H200 (~25 ГБ).Метрики на 32 736 проверочных токенах: исходный cross-entropy модели 2.855, при одновременной подстановке всех 24 транскодеров — 3.464 (+0.61 nats), средний FVU по слоям — 0.230 (от 0.070 на 23-м слое до 0.355 на 9-м).
Ограничения: обучение велось только на английских образовательных веб-текстах (качество на коде, чатах и других языках не измерялось); признаки не имеют автоматической текстовой разметки; это послойные (PLT), а не межслойные (CLT) транскодеры.










Комментарии