Qwen3.8-27B ICA Lens
полная карта 64 слоёв для интерпретации LLM
2 min readupdated
Предвычисленный ICA Lens для Qwen/Qwen3.8-27B и FP8-варианта: 327 680 пар «слой–компонент» на всех 64 слоях при d_model = 5120. Это не отдельная LLM, а инструмент для интерпретации residual stream и словарного чтения; архитектура базы — 48 Gated DeltaNet linear-attention слоёв + 16 full-attention. Автор — lmxxf.
Ключевые особенности
- Строгая двуязычная подгонка 1:1 EN/ZH: 200 704 токена WikiText-103 и китайской Wikipedia, проверка на 51 200 отложенных токенах.
- Кросс-языковая полисемия: для apple и 苹果 независимо выбирается один и тот же axis ID в 42 из 64 слоёв.
- Совместное чтение ICA-Lens × J-lens меняет 81,5% Top-5 токенов на 6 633 осях и собирает чистые синонимы вроде for / для / für.
- 83,76% осей имеют excess kurtosis κ > 1; 44,08% — κ > 10.
- Загрузка по слоям: по 200 MiB на слой, всего 12,50 GiB; layer_XX.safetensors подтягиваются по требованию.
Пример
from icalens import ICALens
lens = ICALens.from_pretrained('lmxxf/Qwen3.8-27B-ica-lens')
print(lens.available_layers) # 0..63
h = ... # [seq_len, 5120]
scores = lens.transform(h, layer=41)
Подробнее
На 51 200 отложенных токенах: 83,76% осей с excess kurtosis κ > 1, 44,08% — с κ > 10.Один и тот же axis ID для apple/苹果 выбран в 42 из 64 слоёв.
Совместное чтение ICA-Lens × J-lens меняет 81,5% Top-5 токенов на 6 633 осях.
Каждый слой — 200 MiB, всего 12,50 GiB; загрузка по требованию.
Ограничения: эвристическое чтение, 50 итераций FastICA не гарантируют сходимости; высокий kurtosis — не семантическая метка.










Comments