Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2-v14

Это конвертация DavidAU/Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2 в архитектуру V14 с эпизодической памятью от LTM-Lab. Веса оригинала не менялись: не было обучения, merge или квантизации; добавлены имя архитектуры, auto_map, настройки памяти в config.json и два код-файла. 39,96B параметров, image-text-to-text, 16 языков, включая русский.

🔥 Ключевые особенности

• 👁 Память режет KV attention на события до 128 токенов и хранит low-rank engram состояния recurrent-слоёв; recall идёт голосованием, без вставки текста в промпт.
• ✅ Store на диске переживает рестарты: сказанное в одном чате можно спросить в другом.
• ⬇ Сервинг — через модифицированный SGLang в Docker-образе lovewin10/sglang-v14; OpenAI API на порту 8000.
• 🦾 Нужен один GPU на 96 GB: только bf16-веса занимают 75 GB; memory требует flashinfer или fa3 и TP/PP/DP attention = 1.
• 💥 /memory хранит token ids и KV промптов; разделения между пользователями нет — для разных тенантов нужен отдельный сервер и каталог.

🦾 Пример

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
path = 'LTM-Lab/Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2-v14'
model = AutoModelForImageTextToText.from_pretrained(path, trust_remote_code=True, dtype=torch.bfloat16).to('cuda').eval()
processor = AutoProcessor.from_pretrained(path)
# далее: apply_chat_template(...) и model.generate(...); каждый forward читает и пишет store

Подробнее

Бенчмарки: конвертация не измерялась; замеры — на 27B-версии той же архитектуры.
Железо: один GPU 96 GB; bf16-веса — 75 GB; нужен Docker с NVIDIA runtime и каталог /memory.
Ограничения: recall по похожим формулировкам, слабые двухшаговые вопросы, старый факт не удаляется, первый токен ждёт recall.
Безопасность: /memory хранит token ids и KV промптов; разделения пользователей нет. Аргументы сервинга не проверялись.