Qwen3.5-0.8B-v15
Qwen3.5 с эпизодической памятью и «сном»
2 мин чтенияобновлено
Автор LTM-Lab перевёл компактную мультимодальную модель Qwen3.5-0.8B (0.87 млрд параметров) в архитектуру Qwen3_5V15ForConditionalGeneration, добавив ей долговременную эпизодическую память. Веса базовой модели остались нетронутыми бит в бит — ничего не дообучалось и не квантовалось, зато появились скрипты управления памятью на уровне KV-кэша (сохранённых состояний внимания) и рекуррентных слоёв. В отличие от прошлой версии V14, здесь убрали обучаемую «модель мира» и добавили режим «сна»: когда сервер простаивает, нейросеть сама перебирает накопившиеся записи, объединяет дубли, помечает устаревшие факты и связывает заметки об одних и тех же сущностях. Решение пригодится разработчикам для экспериментов с локальными ассистентами, которые помнят контекст прошлых диалогов без RAG и векторных баз.
Ключевые особенности
- Память без RAG и обучения: при чтении промпта ключи и значения внимания нарезаются на события до 128 токенов и пишутся на диск вместе с энграммой рекуррентного состояния, а при новом запросе подмешиваются обратно без вставки текста в промпт.
- Цикл «сна» при простое: через 10 минут тишины (по умолчанию) сервер запускает фоновую ревизию — переигрывает свежие записи, склеивает повторы, архивирует опровергнутые факты и строит «мосты» между связанными событиями.
- Готовый инференс в SGLang: поддерживается запуск через модифицированный Docker-образ
lovewin10/sglang-v15с OpenAI-совместимым API, CUDA graph, prefix cache и спекулятивным декодированием EAGLE. - Честные ограничения 0.8B: на малом объёме параметров модель слабовато выступает судьёй собственного «сна» (может ошибочно архивировать несвязанные заметки), поэтому релиз позиционируется как лёгкий стенд для теста механизма.
Что можно сделать
- Собрать локального бота с кросс-сессионной памятью: поднять Docker-контейнер с примонтированной папкой
/memory, чтобы модель запоминала факты из одного чата и отвечала на них в совершенно новой сессии даже после перезапуска сервера. - Протестировать recall и «сон» в Python: загрузить модель напрямую через
transformersсtrust_remote_code=Trueи вызыватьmodel.sleep()вручную между диалогами, отслеживая срабатывания черезmemory_trace.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
import torch
path = 'LTM-Lab/Qwen3.5-0.8B-v15'
model = AutoModelForImageTextToText.from_pretrained(path, trust_remote_code=True, dtype=torch.bfloat16).to('cuda').eval()
processor = AutoProcessor.from_pretrained(path)
# После нескольких вызовов ask(...) можно запустить цикл консолидации памяти:
report = model.sleep()Подробнее
Бенчмарк памяти (bf16, RTX PRO 6000 Blackwell): одиночные факты — 9/10, среди 48 отвлекающих сессий — 7/10, среди 248 сессий — 6/10, двухшаговый поиск (hop) после сна — 6/6 (до сна 5/6), обновление факта после сна — 2/6.Железо и требования: для SGLang нужен GPU с поддержкой бэкендов
flashinfer или fa3 (TP/PP/DP = 1) и быстрый SSD для хранилища /memory; через transformers запускается также на CPU.Важное ограничение: хранилище
/memory общее на весь инстанс сервера без разделения по пользователям, а сгенерированные ответы самой модели в память не пишутся, пока не попадут в следующий промпт.









Комментарии