Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2-v17
модель с эпизодической памятью
2 мин чтенияобновлено
Это новая версия флагманской языковой модели на 40 миллиардов параметров (основанная на разработках DavidAU), дополненная архитектурой эпизодической памяти V17. Модель сохраняет наблюдения, ключи и значения в постоянном хранилище, позволяя обращаться к прошлым диалогам даже после перезапуска сервера. Система автоматически консолидирует данные во время простоя (функция сна) и прогнозирует события по временным меткам. Подойдет разработчикам умных ассистентов и локальных баз знаний, которым важна долговременная контекстная память без потери точности.
Ключевые особенности
- Эпизодическая память: сохранение ключевых точек внимания и состояний во внешнем хранилище.
- Фоновая обработка (Sleep): перенос новых наблюдений и проверка связей между данными во время простоя сервиса.
- Прогнозирование: оценка вероятностей будущих состояний по временным меткам и прошлым цепочкам событий.
- Интеграция с SGLang: развертывание в Docker с поддержкой персистентного тома памяти формата 8.
Что можно сделать
- Развернуть локальный чат-сервер через SGLang с сохранением истории диалогов между сессиями.
- Использовать библиотеку Transformers для интеграции модели со встроенной памятью в Python-скрипты.
- Настроить автоматическое обновление базы знаний и проверку фактов в фоновом режиме.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
repo = "LTM-Lab/Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2-v17"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(
repo, trust_remote_code=True, dtype="auto", device_map={"": 0}
).eval()
model.reopen_memory(storage_path="./qwen-40b-v17-store")
note = "The spare key is in locker QV-823."
with torch.inference_mode(), model.memory_source(role="user", text=note):
model(**tokenizer(note, return_tensors="pt").to(model.device))
Подробнее
• Базовая модель: LTM-Lab/Qwen3.8-40B-Ultimate-Heretic-Uncensored-Build2-v16• Параметры: 39.96 млрд, 96 слоев (24 слоя полного внимания задействованы в памяти)
• Требования: GPU с поддержкой BF16 (веса занимают около 79.9 ГБ)
• Ограничения: Бюджет токенов памяти ограничен; для длительной работы требуется бэкап SQLite-базы и сегментов.










Комментарии