Cross-Layer Transcoder

ByteDance-Seed опубликовала Cross-Layer Transcoder (CLT) для Qwen3-8B-Base. Это интерпретационный инструмент: 36 слоёв × 32 768 латентов, 94,2 млрд параметров в fp32, общий размер 377 ГБ. Латент каждого слоя читает residual stream перед MLP и записывает в выходы MLP этого и всех следующих слоёв.

⚙ Ключевые особенности

• 🎯 При инференсе совместно выбираются 36·k = 360 латентов (k = 10) по score a_l[i] · W_dec_norm[l, i].
• 🖥 Полный decode требует файлы W_dec_*.safetensors на 357 ГБ; всего checkpoint занимает 377 ГБ.
• 📡 Демо запускается через torchrun на 8 GPU; для encode-only хватает одной 80 ГБ GPU, если не скачивать декодеры.
• ✅ Нормализация уже вшита в веса: CLT принимает raw resid_mid и восстанавливает raw mlp_out.
• 🔒 Обучен на Dolma 3, Dolci-Think и Dolci-Instruct (5:2:1, ~3,4 млрд токенов); веса и код — Apache 2.0.

💻 Пример

huggingface-cli download ByteDance-Seed/Cross-Layer-TopK-CLT --local-dir clt
torchrun --nproc_per_node 8 hf_encode_demo.py

Подробнее

Бенчмарков в карточке нет: это не LLM, а CLT для анализа Qwen3-8B-Base.
Полный decode требует fp32 и 377 ГБ весов; encode-only — одна 80 ГБ GPU без файлов W_dec_*.safetensors.
CLT обучен на fp32-активациях, базовую модель тоже надо запускать в fp32.
Токены с нормой resid_mid или mlp_out ≥20× среднего по слою отбрасываются, как при обучении.