Spark X2.6 4B Recursive72

Экспериментальная LLM на 4,11 млрд параметров от TassP0lar, собранная поверх замороженного BF16-бэкбона XHToken/Spark-X2.6-4B. В основе — 36 физических слоёв и рекурсивное расписание из 72 визитов с per-visit Paged Latent Sparse Attention (D-LSA).

🧐 Ключевые особенности

• 🧐 База: 36 слоёв — 9 full-attention и 27 sliding-window, BF16, заморожена.
• 🚀 Рекурсивное расписание: 4 + 24 + 24 + 12 + 8 = 72 визита.
• 🤖 TwoStreamMHC-контроллеры на 10 078 176 параметров с bounded-gain Schema v2.
• 👀 18-визитный VisitAwareDLSAIndexBank с per-visit проекциями W_k и W_q.
• ⛔ Бенчмарки и данные о VRAM в карточке не приведены.

🚀 Пример

from load_inference_v03 import load_sparkx_loop72_lsa
model, tokenizer = load_sparkx_loop72_lsa(
    repo_or_dir='TassP0lar/Spark-X2.6-4B-Recursive72',
    base_repo='XHToken/Spark-X2.6-4B',
    recurrence_mode='learned_mhc',
    attach_sparse_attention=True,
)
model.eval()

Подробнее

Базовая модель — frozen BF16 XHToken/Spark-X2.6-4B: 36 слоёв (9 full-attention и 27 sliding-window).
Схема рекурсии: 4 + 24 + 24 + 12 + 8 = 72 визита; 60 core-визитов проходят через TwoStreamMHC-контроллеры (10 078 176 параметров).
Бенчмарков и требований к VRAM в карточке нет; для запуска нужен локальный load_inference_v03.