LAMP-Qwen v0.1
редактируемая память для замороженной LLM
2 min read
LAMP-Qwen v0.1 от William Taggart (Virginia Tech) — экспериментальная реализация Latent Associative Memory Programming для Qwen3.5-0.8B. Модель не дообучается: базовые веса Qwen заморожены, а рядом добавляется отдельная редактируемая числовая память. В комплекте — нативное приложение для Apple Silicon.
Ключевые особенности
- Память хранится отдельно: 1000 слотов распознавания, ключи и поправки в тензорах, параметры базы не перезаписываются.
- Writer работает без градиентов: forward-only подбор смещений скрытых состояний и валидация ответа.
- Приложение для Mac: .dmg около 1.75 ГБ, модель и runtime внутри, инференс локальный и офлайн.
- Интерфейс: Chat, Compare with base model, Write memory, просмотр слотов и редактор весов.
- Это не LoRA/PEFT и не обычный чекпоинт: нужен входящий runtime, from_pretrained сам механизм памяти не установит.
Пример
В приложении откройте Write memory, укажите исходный вопрос и желаемый ответ, нажмите Write and validate, затем задайте вопрос снова. В Diagnostics видно выбранный слот и score, а в Compare with base model можно сравнить ответы с памятью и без.
Подробнее
В пилоте при записи воспроизведены 12/12 выбранных ответов; траектории заняли 304 шага.Генерация со стирингом на тестовом Mac: 0.850–1.355 с, медиана около 1.005 с.
Нужен Apple Silicon и macOS 26+; .dmg около 1.75 ГБ, установленное приложение около 2.5 ГиБ, тест на M4 с 16 ГБ.
Ограничения: узкое распознавание — перефраз со score около 0.9792 не прошёл порог 0.999; до 1024 токенов промпта и 256 токенов ответа, по одному вопросу.










Comments