Qwen3.8-27B-V13-b1

Экспериментальная 27,78B-модель от LTM-Lab: базовые веса DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored без изменений, но с архитектурой qwen_dense_v13. Это Qwen3.5 dense с 64 слоями, vision tower, эпизодической KV-памятью и latent foresight. Код архитектуры поставляется с моделью — нужен trust_remote_code=True.

✨ Ключевые особенности

• 🔮 Архитектура qwen_dense_v13: 48 слоёв Gated DeltaNet linear-attention и 16 full-attention слоёв.
• 💻 Эпизодическая KV-память: записи сохраняются в SQLite-хранилище и вспоминаются в следующих вызовах; есть read-only режим, статистика и forget_episode.
• ✨ Latent foresight: 16 предикторов примерно на 0,1B параметров, по одному на full-attention слой; рантайм дообучает их после 256 переходов и при каждом удвоении.
• ✔ MTP-голова для speculative decoding и chat template с reasoning_effort low/medium/xhigh.
• ❌ В тесте recall — 0/40: хранилище читается, но записанные значения не возвращаются.
• 📌 Нужны Transformers 5.x и flash-linear-attention; хранилище памяти держите на локальном диске.

💻 Пример

import os, torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
os.environ["QWEN_DENSE_V13_MEMORY_HOME"] = "/path/v13-memory"
repo = "LTM-Lab/Qwen3.8-27B-V13-b1"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(repo, trust_remote_code=True, dtype=torch.bfloat16, device_map="cuda").eval()
print(model.memory_stats())

Подробнее

Бенчмарки: recall 0/40, generation 6/6 без лишних <think> и циклов, held-out NLL 0.545.
Тестировали на одной GPU 96 GB: ~13 ток/с с памятью и ~52 ток/с без неё.
Ограничения: похожие факты могут путаться, база uncensored, стандартные бенчмарки не заявлены.