Qwen3-8B-speculator.dspark-swa
опорный драфтер для Qwen3-8B
1 min read
Infomaniak-AI выложили Qwen3-8B-speculator.dspark-swa — baseline-драфтер для спекулятивного декодирования Qwen/Qwen3-8B. Это 5-слойная модель на стандартном DSpark Sliding-Window Attention с окном 128 и блоком до 8 токенов. Активных параметров — 1,072.20M; модель обучалась как часть контролируемой ablation-серии Infomaniak.
Ключевые особенности
- Драфтер для спекулятивного декодирования Qwen3-8B: до 8 токенов за проход.
- Архитектура KvNDSparkDraftModel: 5 слоёв sliding-window attention, окно 128.
- Markov-голова gated low-rank с rank 256 и draft vocab 32,000.
- Использует скрытые состояния Qwen3-8B из слоёв 2, 18, 33.
- Кэш 10.49 MB на последовательность, активных параметров 1,072.20M.
- Baseline в ablation-семействе Infomaniak: опорная точка для сравнения с KvN-RFF-вариантами.
Пример
import torch
from speculators.models.kvn_dspark import KvNDSparkDraftModel
model = KvNDSparkDraftModel.from_pretrained(
"Infomaniak-AI/Qwen3-8B-speculator.dspark-swa",
torch_dtype=torch.bfloat16,
device_map="cuda:0",
)
model.eval()
Подробнее
Валидация: loss 0.7900, accept length 1.9020, greedy EAL 1.9780; Pos-0 — 51.8%.Кэш 10.49 MB на последовательность, активных параметров 1,072.20M.
Задержка драфта при B=128 — 12.223 ms; в таблице ускорения это опорная точка 1.00×.
Нужна ветка speculators kvn-rff-rnn-mtp и метод kvn_dspark в vLLM; обучение — 17m 48s на NVIDIA H200.










Comments