Qwen3-4B → Qwen3-8B bridge
KV-мост для ускорения генерации
3 min readupdated
Qwen3-4B → Qwen3-8B bridge — это обученный KV-мост (проекционные матрицы, переводящие внутреннюю память одной модели в пространство другой), который связывает Qwen3-4B и Qwen3-8B. Младшая модель (4B) читает весь промпт, а мост преобразует её скрытые состояния в KV-кэш (key/value память внимания), который ожидает старшая модель (8B) — в итоге 8B читает лишь один токен промпта и сразу начинает отвечать. Проект создан автором agentic-underground в рамках реализации PrattleNot по методу LatentPort (arXiv:2609.25053) от Саймона Виллани. В отличие от обычного speculative decoding, где большая модель проверяет черновики, здесь большая модель вообще не тратит время на обработку всего входного текста, сохраняя при этом качество ответов. Решение пригодится инженерам и исследователям, которые оптимизируют задержку до первого токена (TTFT) при инференсе.
Ключевые особенности
- Ускорение старта ответа: на двух видеокартах RTX 3090 в формате bf16 время до первого токена (TTFT) на промптах длиной ~256 токенов сокращается в 1.12× по сравнению с обычным прогоном Qwen3-8B.
- Высокая точность переноса памяти: показатель NCR (native-closure ratio — доля разрыва по loss между чтением «вслепую» и полным чтением промпта, которую закрывает мост) достигает 0.890, а в тестовом наборе из 7 вопросов модель даёт все 7 правильных ответов.
- Компактный размер файла: веса моста упакованы в один файл
qwen3-4b-to-8b.safetensorsобъёмом 760 MB с лицензией Apache-2.0 и не содержат весов самих базовых моделей. - Линейные проекции и коррекция: мост построен на гребневой регрессии (ridge regression) по двум срезам residual stream модели 4B с добавлением обучаемой ранг-4 коррекции.
Что можно сделать
- Ускорить prefill в локальных пайплайнах: использовать связку Qwen3-4B и Qwen3-8B через движок
prattle_core::bridgeна Rust в проекте PrattleNot для сокращения задержки на длинных промптах. - Изучить перенос представлений между LLM: использовать готовые матрицы
k.иv.для экспериментов с межмодельным маппингом слоёв и воспроизведения результатов статьи LatentPort. - Сравнить с другими мостами линейки: протестировать этот переход вместе с соседними вариантами релиза для Qwen3 (0.6B → 1.7B) и Qwen3.5 (0.8B → 2B, 4B → 9B).
Пример
PRATTLE_SOURCE_DTYPE=bf16 PRATTLE_TARGET_DTYPE=bf16 PRATTLE_DEVICES=cuda:0,cuda:1 just speedup models/Qwen3-4B models/Qwen3-8B models/bridges/qwen3-4b-to-8b.safetensors 256Подробнее
Метрики: NCR 0.890 (с обученной коррекцией); посимвольный/потокенный loss 8B на собственном ответе — 0.291 через мост против 0.089 при полном чтении и 1.923 без чтения промпта.Железо: замеры скорости проводились на двух RTX 3090 (4B на одной карте, 8B на другой, обе в bf16), теоретический потолок ускорения на этой паре карт — 1.61×.
Обучение: калибровка на 451 шаблонном вопросе (46 319 строк из ответов до 192 токенов, режим thinking у Qwen3 отключён), ранг-4 коррекция обучалась 3 эпохи через замороженную 8B.
Ограничения: файл не совместим напрямую с библиотекой
transformers и требует рантайм prattle_core::bridge из репозитория PrattleNot, а также отдельно скачанные веса Qwen/Qwen3-4B и Qwen/Qwen3-8B.









Comments