К содержимому
Другое

statetrace-qwen3.5-0.8b-transcoders

послойные транскодеры для разбора Qwen3.5-0.8B

2 мин чтения

Набор из 24 послойных транскодеров (PLT — модулей для интерпретации внутренних вычислений нейросети) от автора Fealtyy, созданный для анализа языковой модели Qwen/Qwen3.5-0.8B. Сама базовая модель имеет гибридную архитектуру: 18 слоёв Gated DeltaNet и 6 слоёв классического full-attention. Каждый транскодер считывает вход MLP-блока и предсказывает его выход через 16 384 разреженных признака JumpReLU, позволяя строить графы атрибуции (circuit tracing) и отслеживать логику принятия решений внутри сети. Инструмент ориентирован на исследователей механистической интерпретируемости, работающих с библиотеками statetrace и circuit-tracer.

Ключевые особенности

  • Покрытие всех 24 слоёв Qwen3.5-0.8B с шириной 16 384 признака на слой (в 16 раз больше размерности residual-потока 1024).
  • Разреженность на уровне ~48 активных признаков на токен (L0) и 0% «мёртвых» признаков благодаря функции потерь AuxK.
  • Полная совместимость с форматом транскодеров circuit-tracer: весовые матрицы сохранены в layer_{i}.safetensors в точности fp32 вместе с config.yaml.
  • Высокая точность графов атрибуции на тестовых промптах: средний replacement score составляет 0.72, а completeness score — 0.93.

Что можно сделать

  • Построить графы атрибуции для коротких промптов в библиотеке statetrace, чтобы увидеть, какие внутренние признаки активируются при генерации ответа.
  • Сравнить работу гибридных слоёв Gated DeltaNet и стандартных слоёв full-attention (слои 3, 7, 11, 15, 19 и 23) внутри Qwen3.5-0.8B.
  • Загрузить отдельные слои напрямую через safetensors для собственных экспериментов по разметке и анализу признаков MLP.

Пример

from statetrace.replacement import ReplacementModel
from statetrace.attribution import attribute

rm = ReplacementModel.from_pretrained(
    "Qwen/Qwen3.5-0.8B",
    "Fealtyy/statetrace-qwen3.5-0.8b-transcoders",
    local_files_only=False,
)
graph = attribute("The Eiffel Tower is located in the city of", rm)
ПодробнееОбучено на 399.6M токенов на слой из датасета FineWeb-Edu (контекст 1024 токена) за 3.5 часа на одной GPU H200 (~25 ГБ).
Метрики на 32 736 проверочных токенах: исходный cross-entropy модели 2.855, при одновременной подстановке всех 24 транскодеров — 3.464 (+0.61 nats), средний FVU по слоям — 0.230 (от 0.070 на 23-м слое до 0.355 на 9-м).
Ограничения: обучение велось только на английских образовательных веб-текстах (качество на коде, чатах и других языках не измерялось); признаки не имеют автоматической текстовой разметки; это послойные (PLT), а не межслойные (CLT) транскодеры.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Fealtyy/statetrace-qwen3.5-0.8b-transcoders
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Fealtyy/statetrace-qwen3.5-0.8b-transcoders --local-dir ~/models/statetrace-qwen3.5-0.8b-transcoders
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к statetrace-qwen3.5-0.8b-transcoders
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии statetrace-qwen3.5-0.8b-transcoders — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Fealtyy/statetrace-qwen3.5-0.8b-transcoders
Автор
Fealtyy
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии