Qwen3.8-27B Jacobian Lens

Предрасчитанная full-layer Jacobian Lens (J-lens) для Qwen/Qwen3.8-27B: 64 слоя, d_model = 5120, гибридная архитектура из 48 Gated DeltaNet linear-attention и 16 full-attention слоёв. Чекпоинт обучен официальным оценщиком anthropics/jacobian-lens и позволяет проецировать residual stream промежуточных слоёв в пространство финального слоя.

🔥 Ключевые особенности

• ✅ Двуязычная подгонка строго 1:1: 50 пассажей WikiText-103 на английском + 50 из китайской Wikipedia, всего N = 100.
• 📚 Сохранены 63 полные матрицы 5120 × 5120 для слоёв 0..62 в float16; целевой слой — 63.
• 💻 Формат совместим с torch.load и jacobian-lens; словарь J отображает номер слоя в тензор.
• 📌 В карточке приведены бенчмарки Multihop и Multilingual и примеры bilingual readout.
• ❗ Это не готовая LLM, а исследовательский артефакт для анализа внутренних представлений Qwen3.8-27B.

💻 Пример

import torch
lens = torch.load("Qwen3.8-27B_jacobian_lens.pt", map_location="cpu")
J_38 = lens["J"][38].float()
# h_proj = h_38 @ J_38.T
# logits = lm_head(final_rms_norm(h_proj))

Подробнее

Файл: 3.30 GB / 3.08 GiB, SHA256 e9b11582f2023b7934ed591ab1134f7a3a9b6d64782665d3400a3fc56f532402.
На N=100: Multihop pass@1 — 36.31%, pass@5 — 56.35%; Multilingual pass@1 — 25.08%, pass@5 — 40.58%.
Vanilla Logit Lens даёт 33.93% / 53.97% и 21.26% / 38.86% соответственно.
В примере readout на промпте про «страну в форме сапога» топ-5 токенов на слое 41: ['意大利', ' Italy', ' Italian', 'Italy', ' Italia'].
Оценка проводилась на двух NVIDIA DGX Spark GB10; всего 256 000 полных обратных проходов.