Fitted R-lenses

Набор fitted R-lenses от автора tangang8: линзы отображают скрытые активации ранних слоёв модели в residual stream её финального transformer-слоя. После output normalization и unembedding эти активации превращаются в token predictions. В комплекте — варианты для Qwen3-4B/8B/14B, Llama-3.1-8B, Gemma-2-2B и Gemma-3-12B-it.

🔤 Ключевые особенности

• ➕ R-линзы переводят активации fitted decoder block в residual space целевого слоя.
• ➖ Сохраняют forward computation модели, меняя только backward rules при подгонке.
• 🔤 Поддержка Qwen3-4B/8B/14B, Llama-3.1-8B, Gemma-2-2B и Gemma-3-12B-it.
• 🔙 Каждый каталог содержит lens_fp32.pt и config.json с базовой моделью, ревизией чекпоинта и слоями.
• 🔜 Подгонка на WikiText-103 с лимитом 128 токенов; в сохранённых линзах от 426 до 676 пассажей.

▶ Пример

from huggingface_hub import hf_hub_download
from jlens import JacobianLens

path = hf_hub_download(
    repo_id="tangang8/jspace-lenses",
    filename="qwen3-4b/rlens/lens_fp32.pt",
)
lens = JacobianLens.load(path)

Подробнее

Файлы содержат FP32-матрицы линз; веса базовой языковой модели загружаются отдельно.
Номера слоёв zero-based и относятся к выходам decoder block до финальной нормализации.
В карточке нет бенчмарков и требований к VRAM; для применения нужен соответствующий чекпоинт модели.