Looped J-lenses

Это не новая LLM, а набор J-линз и tuned-линз от lbarazza для интерпретации зацикленных и recurrent-depth моделей: Ouro-1.4B, Ouro-2.6B, Dory-4B и Huginn-3.5B. Линза переводит residual state в любой точке развёрнутого вычисления в словарь модели — так видно, что она представляет посреди цикла.

🦾 Ключевые особенности

• 👁 J-линзы работают на prelude и на каждом блоке каждого цикла, а не только на финальном выходе.
• 🔥 Per-target линзы для Ouro: e{24k-1} ведёт к концу k-го цикла, e95 — к финальному выходу.
• ✨ Tuned-линзы: один affine-переводчик на каждый unrolled index, обучены к финальному выходу при штатном числе циклов.
• ✅ У каждого .pt есть sidecar .pt.json: модель, n_steps, n_blocks, unrolled_depth, source_layers и target_layer.
• 🧘 Для Dory и Huginn — отдельные наборы под разное число циклов и рекурренций.

✨ Пример

from huggingface_hub import hf_hub_download
from jlens.lens import JacobianLens

path = hf_hub_download("lbarazza/looped-jlens", "ouro14b_meanfit_25x128.e95.pt")
lens = JacobianLens.load(path)

Подробнее

Линзы fitted на 25 промптов × 128 токенов (Huginn: 7; refit 50×128).
Индексация: u = prelude + step * blocks_per_loop + block.
Ouro-1.4B: 24 блока × 4 цикла (глубина 96); Ouro-2.6B: 48 × 4 (глубина 192).
Dory обучена на 2 цикла; tuned-линзы — по одному affine-переводчику на unrolled index.