statescope-qwen3.5-0.8b
словари состояний и MLP для анализа модели Qwen3.5-0.8B
2 мин чтенияобновлено
Набор данных и инструментов statescope для модели Qwen3.5-0.8B включает по два словаря на каждый слой (для скрытых состояний потока и MLP-преобразований) вместе с ридером на Python. Библиотека позволяет изучать внутренние вычисления языковой модели через разреженные словари состояний и трансформаций, отслеживая передачу сигналов между токенами и слоями. Релиз полезен исследователям интерпретируемости (interpretability), инженерам и тем, кто изучает устройство внутренних механизмов трансформеров на практике.
Ключевые особенности
- Словари по слоям: 24 слоя с детализированными конфигурациями состояний и весами в формате safetensors.
- Анализ потока состояний: разбиение остаточного потока (residual stream) на активные группы направлений.
- MLP-трансформации: разложение слоев MLP на сумму мелких гейтовых линейных операций.
- Готовые скрипты: встроенные утилиты для проверки манифеста и воспроизведения экспериментов по подсчету длины строк.
Что можно сделать
- Анализ активаций: реконструировать скрытые состояния (activations) и проверять работу отдельных голов внимания или GatedDeltaNet.
- Интерпретация вычислений: изменять коды групп или гейты трансформаций для изучения влияния на итоговый вывод модели.
- Запуск проверок: использовать скрипт верификации для быстрой перепроверки всех 144 весовых файлов релиза.
- Интеграция с Python: подключать ридер для отладки поведения модели прямо в пайплайнах с PyTorch и Transformers.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from statescope.reader import StateVocab, PublicMolt, capture
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B", dtype=torch.bfloat16, device_map="cuda").eval()
input_ids = torch.tensor([tokenizer("The committee met on Thursday to review the budget.")["input_ids"]], device="cuda")
V = StateVocab("/state/L9", "cuda")
M = PublicMolt("/mlp/L9", "cuda")
acts = capture(model, 9, input_ids)
x_hat = V.reconstruct(acts["resid_post"], "resid_post.9")
gate, y_hat = M.forward(acts["resid_mid"])
Подробнее
Общий объем файлов: ~27.4 GiB (146 файлов, включая манифест и конфигурации).Архитектура состояний: 16 384 групп на слой, по 4 направления в группе, активно 24 группы на токен.
Словари MLP: 3 968 трансформаций на слой.
Требования к окружению: Python 3.12+, torch 2.11.0+cu128, transformers 5.20.2.
Связанные релизы: доступна аналогичная версия для Qwen3.5-4B.










Комментарии