Nla-qwen3-8b-layer18
вебалайзер активаций для Qwen3-8B
1 мин чтенияобновлено
Модель представляет собой активационный вебалайзер (инструмент для интерпретации нейросетей) однослойного естественного языкового автоенкодера, обученного на базе Qwen/Qwen3-8B. Она принимает вектор скрытого состояния на 18 слое в конкретном токене и переводит его в текстовое объяснение на естественном языке. Репозиторий содержит вебалайзер после обучения с подкреплением (RL), а в папке sft хранятся веса после контролируемого обучения. Модель полезна исследователям в области интерпретируемости и анализа внутренней работы языковых моделей.
Ключевые особенности
- Создана на базе модели Qwen/Qwen3-8B с анализом 18 слоя
- Дообучена с использованием LoRA (небольшой надстройки над базовой моделью) ранга 64
- Прошла 150 итераций обучения с подкреплением (RL) для улучшения генерации
- Достигает 63% объясненной дисперсии на отложенных данных
Что можно сделать
- Исследовать внутренние векторные представления и активации Qwen3-8B
- Генерировать текстовые интерпретации скрытых состояний на 18 слое
- Сравнивать качество объяснений до и после этапа RL
Пример
import re, torch, yaml
from huggingface_hub import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer
torch.set_grad_enabled(False)
AV = snapshot_download("camila-blank/nla-qwen3-8b-layer18", ignore_patterns=["sft/*"])
Подробнее
Метрика: 63% объясненной дисперсии после RL (против 43% до RL)Требования: видеокарта с поддержкой bfloat16 и CUDA
Ограничения: не является универсальной языковой моделью
Обучение: 1 эпоха SFT и 150 итераций RL










Комментарии