LPCompact-Qwen3.5-9B
компактор кэша внимания для длинного контекста
1 мин чтенияобновлено
Модель представляет собой небольшой селектор на 393 473 параметра, который сжимает кэш внимания (attention cache) базовой модели Qwen/Qwen3.5-9B. Она оценивает важность позиций по значениям внимания на определенных слоях и сохраняет ключевые ключи и значения, а также состояния рекурсии и свертки. Это позволяет эффективнее работать с длинными контекстами без существенной потери точности. Модель пригодится разработчикам и исследователям, работающим с большими объемами текстовых данных и длинными сессиями.
Ключевые особенности
- Сжатие кэша: сокращает объем памяти для хранения истории длинных контекстов.
- Гибкая политика: стандартная политика 8x сохраняет первые и последние 512 позиций с минимальным пределом в 1024 позиции.
- Настройка сжатия: возможность указать параметр ratio для сохранения большего объема памяти.
- Универсальность: поддерживаются форматы BF16, NF4 и совместимые веса GGUF.
Что можно сделать
- Интеграция в пайплайны: использовать библиотеку latentport для префилла и сеансов генерации с уменьшенным кэшем.
- Работа с большими документами: применять для задач поиска в репозиториях и структурированных данных при длинной истории.
Пример
import latentport as lp
with lp.load_model("Qwen/Qwen3.5-9B", backend="bf16") as model:
state = model.prefill(history)
child = state.compact()
answer = model.session(child).ask("Continue the task.")
Подробнее
Требуется LatentPort версии 0.4.0 или новее.Сжатие по умолчанию начинается с 65 536 физических позиций.
Обучение включало разминку на 16 историях и 256 обновлениях AdamW, а затем полезное обучение на 32 историях.










Комментарии