LPCombine-Qwen3.5-4B
комбинирование контекстов для Qwen3.5
2 мин чтенияобновлено
Модель LPCombine-Qwen3.5-4B решает задачу объединения двух независимо захваченных контекстов в единое возобновляемое состояние. Базируясь на архитектуре Qwen3.5-4B от создателя Саймона Виллани, она использует обученный считыватель для предложения токенов из ключей и значений первого слоя полного внимания и проверяет кандидатов по раннему кешу. Модель полезна разработчикам, работающим с эффективным управлением контекстом и кешированием в пайплайнах обработки текста с помощью библиотеки LatentPort (инструмента для работы с кешем состояний моделей).
Ключевые особенности
- Объединение двух независимых контекстов (левого и правого кеша) в одно состояние
- Поддержка бэкендов BF16, NF4 и GGUF для работы с кешем
- Обученный считыватель, зафиксированный поверх замороженной базовой модели
- Успешное прохождение тестов на совпадение с нативным добавлением токенов
Что можно сделать
- Применить метод
combine()для объединения разных контекстов в коде на Python с использованием библиотеки LatentPort - Загрузить модель в формате NF4 или GGUF для экономии VRAM при работе со стейтами
- Использовать сессионные запросы для извлечения информации из объединенных контекстов
Пример
import latentport as lp
with lp.load_model("latentport/LPCombine-Qwen3.5-4B", backend="nf4") as model:
left = model.prefill("Nora belongs to team X.\n")
right = model.prefill("Team X uses the passcode cedar.\n")
merged = left.combine(right, model=model, method="cache")
with model.session(merged) as session:
print(session.ask("What is the passcode for Nora's team?").text)Подробнее
Бэкенды: BF16, NF4, GGUF с поддержкой удержания токеновОбучение: FP32-считыватель на 18 432 синтетических токенах с замороженной базовой моделью
Ограничения: реплей правого контекста и проверка восстановленных токенов перед обновлением сессии
Лицензия: Apache-2.0










Комментарии