VAULT v2.5-180M

VAULT (Variance-Weighted Associative Unitary Lattice Tensor) — 180.6M-параметровая пост-Transformer/post-SSM рекуррентная архитектура от Philip Bartsch (batteryphil). Обучена с нуля на одном 16 ГБ GPU (AMD Radeon RX 9060 XT) всего на 0.594B токенов; конфигурация d_model=768, 16 слоёв, H_q=12, G_vault=4.

🔮 Ключевые особенности

• 🔮 4 банка Co-Prime Kenyon Cell (P={47, 53, 59, 61}, 220 ячеек) и 8.97M CRT-адресов вместо KV-cache.
• 💻 O(1) декод: 20.61 ms/tok на 2K и 20.53 ms/tok на 128K; состояние — 227.3 MB.
• 🔥 Elastic Co-Prime Mitosis расширяет память с 220 до 2,002 ячеек в одну строку, latency остаётся 20.59 ms/tok.
• 📚 Zero-shot retrieval на 32K: 83.3% exact (1-shot), хотя модель обучали только на 2K.
• 🐎 Поддержка NVIDIA CUDA, AMD ROCm, Apple Silicon и CPU; Triton-ядра опциональны.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained('batteryphil/VAULT-v2.5-180M', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('batteryphil/VAULT-v2.5-180M', trust_remote_code=True).to('cuda' if __import__('torch').cuda.is_available() else 'cpu')
print(model.chat(tok, 'Explain why recursion needs a base case.', stream=True))

Подробнее

Бенчмарки SFT: SciQ +Passage — 71.80%, среднее по 9 zero-shot задачам — 43.63%; на 32K mitosis даёт 83.3% exact recall (1-shot).
Состояние: 227.3 MB для 220 ячеек и 2,009.7 MB для 2,002; декод — 20.59 ms/tok.
Ограничения: обучение всего на 0.594B токенов — слабые closed-book, LAMBADA и WikiText-2 PPL; после mitosis на 64K–128K нужна адаптация.