FlashMap-Qwen3.8-27B-FP8

FlashMap-Qwen3.8-27B-FP8 — драфтер для lossless speculative decoding от j-shen. Это 770M-модель для Qwen/Qwen3.8-27B-FP8: предлагает целый блок из K токенов за один проход. Вместо независимого предсказания токенов, как у discrete diffusion drafters, использует flow map.

✔ Ключевые особенности

• 🔥 Lossless: драфтит по 65 536 самым частым токенам цели; для остальных draft probability = 0.
• 🔮 Flow map переходит от Gaussian noise к целому блоку за один шаг и учитывает зависимости между токенами блока.
• 💻 Плагины для vLLM и SGLang; оба сервера дают OpenAI-compatible API.
• 📚 Обучен на собственных ответах цели в non-thinking режиме на промптах open-perfectblend.
• ❌ Референсный spec_generate в transformers не поддерживает эту цель из-за состояния linear-attention.

💻 Пример

uv venv --python 3.12 .venv-vllm
source .venv-vllm/bin/activate
uv pip install "vllm==0.32.*" "flashmap[vllm]>=0.2.1"

vllm serve Qwen/Qwen3.8-27B-FP8 --max-model-len 8192 --max-num-seqs 64 \
  --speculative-config '{"model": "j-shen/FlashMap-Qwen3.8-27B-FP8", "num_speculative_tokens": 16, "draft_sample_method": "probabilistic"}'

Подробнее

На одной 80 ГБ H100 с 16 speculative tokens и flashmap ≥0.2.1 помещается около 11 запросов по 8 192 токена.
--max-num-seqs не выше числа state-блоков linear-attention цели: около 600 на одной H200 при --max-model-len 8192.
Драфтер лучше работает с enable_thinking: False: он обучен в non-thinking режиме.
Веса — Apache-2.0, код — MIT.