Qwen3.5 L1234 4-layer DFlash

Это 4-слойная DFlash draft-голова на 1.712B параметров для target-модели qwen35-l1234-v25-step6000. Она предлагает блок токенов-кандидатов, которые target проверяет за один forward pass, позволяя коммитить несколько токенов за проход. Вес — 3.2 ГБ, 49 тензоров; запускается на stock vLLM 0.31.0 без патчей.

👀 Ключевые особенности

• 💪 4 слоя, hidden 2 560, intermediate 9 216, head_dim 128; типы слоёв — sliding, sliding, sliding, full.
• 👀 Draft vocab 248 320 — полный словарь target; block size 16, native depth k=15, default proposal k=7.
• 💸 На A100 80 GB PCIe: 1929.7 output tok/s против 1561.2 у baseline, speedup 1.2411.
• 🐾 Accepted length 4.8608 токена за verify step; draft cost/step 3.917.
• 🔥 Совместим со stock vLLM 0.31.0; в репозитории только inference-веса.

👉 Пример

vllm serve <target> \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 64 \
  --no-enable-prefix-caching \
  --trust-remote-code \
  --speculative-config '{"model":"<this-repo>","num_speculative_tokens":7,"method":"dflash"}'

Подробнее

На A100 80 GB PCIe, vLLM 0.31.0: 1929.7 output tok/s против 1561.2 у baseline; speedup 1.2411 при k=7.
Accepted length 4.8608; p50 latency 12.25 с против 15.88 с.
Draft: 1.712B, 3.2 ГБ, 4 слоя, block size 16, vocab 248 320.
Только inference-веса; optimizer_state_dict.pt не включён. Serving — stock vLLM 0.31.0 без патчей.