TopoVoid-0.2B-Orthogonal-Preview

Исследовательский preview архитектуры TopoVoid от команды Topovoid: 212M-параметровая двуязычная (en/zh) causal LM, обученная с нуля. В основе — концептуальные bottleneck-слои и closed-form solver, который записывает новые факты в Attention и MLP внутри ортогонального null space.

⚙ Ключевые особенности

• ⚙ Архитектура: 16 слоёв, d_model 1024, d_ff 2432 (SwiGLU), 16 query-heads и 4 KV-heads (GQA), RoPE.
• 🧬 Concept bottlenecks: L7 MidCBM 24-d, L7 SubspaceTopKCBM 40-d, L12 Highway CBM 24-d.
• 🎯 Closed-form write: residual проецируется через P⊥ = I − Q_cbm Q_cbmᵀ; 176 из 1024 измерений (17.2%) защищены, 848 (82.8%) — записываемый null space.
• ⚡ CounterFact, 100 отдельных правок: first-token Top-1 1.00% → 100.00%, медианная компиляция 1.37 с, factor-файл 0.093 MB.
• 📀 AG News readout: Full L7 75.37%, CBM 67.32%, Word+Char TF-IDF SVM 56.70%.
• 🔎 ARC, 399 новых парафраз: внешний MidCBM-индекс поднимает 28.57% → 72.93%.

💡 Пример

from modeling_topovoid import load_topovoid
from closed_form_write import concept_null_projector

model, tok, o2c, c2o = load_topovoid('.')
P_perp, Q_cbm = concept_null_projector(model)

Подробнее

Paraphrase first-token Top-1 — 35.00%, neighborhood bleed — 44.90%; это first-token метрики, не полная точность строк.
Стекинг модулей: 2 модуля (80 фактов) — 96.25% Top-1, 4 — 55.62%, 8 — 34.69%; в preview нет cross-module Gram-Schmidt.
MQuAKE-CF-3k (2-hop, 150 кейсов): edited answer 13/150 → 117/150.
Веса fp32 — 809 MB; код тестировался с torch 2.8.0 и transformers 4.57.1.