Qwen3-8B-speculator.dspark-swa

Infomaniak-AI выложили Qwen3-8B-speculator.dspark-swa — baseline-драфтер для спекулятивного декодирования Qwen/Qwen3-8B. Это 5-слойная модель на стандартном DSpark Sliding-Window Attention с окном 128 и блоком до 8 токенов. Активных параметров — 1,072.20M; модель обучалась как часть контролируемой ablation-серии Infomaniak.

🧐 Ключевые особенности

• 🤖 Драфтер для спекулятивного декодирования Qwen3-8B: до 8 токенов за проход.
• 🧐 Архитектура KvNDSparkDraftModel: 5 слоёв sliding-window attention, окно 128.
• 🔥 Markov-голова gated low-rank с rank 256 и draft vocab 32,000.
• 🚀 Использует скрытые состояния Qwen3-8B из слоёв 2, 18, 33.
• 👀 Кэш 10.49 MB на последовательность, активных параметров 1,072.20M.
• 💯 Baseline в ablation-семействе Infomaniak: опорная точка для сравнения с KvN-RFF-вариантами.

🚀 Пример

import torch
from speculators.models.kvn_dspark import KvNDSparkDraftModel
model = KvNDSparkDraftModel.from_pretrained(
    "Infomaniak-AI/Qwen3-8B-speculator.dspark-swa",
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",
)
model.eval()

Подробнее

Валидация: loss 0.7900, accept length 1.9020, greedy EAL 1.9780; Pos-0 — 51.8%.
Кэш 10.49 MB на последовательность, активных параметров 1,072.20M.
Задержка драфта при B=128 — 12.223 ms; в таблице ускорения это опорная точка 1.00×.
Нужна ветка speculators kvn-rff-rnn-mtp и метод kvn_dspark в vLLM; обучение — 17m 48s на NVIDIA H200.