Qwen3.8-27B-Quark-DFlash2

Это спекулятивная draft-модель для Qwen3.8-27B, обученная в AMD Quark. Она добавляет в vLLM метод dflash и предлагает до 7 токенов на шаг, чтобы целевая LLM генерировала быстрее. Размер — около 1.27B параметров в bfloat16.

⚡ Ключевые особенности

• 🎯 Обучена на полном Tulu-3 SFT mixture с отключённым thinking, 3 эпохи (17 118 шагов).
• ⚙ Архитектура draft: 5 non-causal слоёв, hidden 5120, 40 heads / 8 KV heads, block size 8.
• 📌 Использует grouped conv с kernel 2 и candidate selector (rank 256, top-k 16).
• 🔍 Для работы нужен vLLM с поддержкой DFlash2 (DFlash2DraftModel).

⌨ Пример запуска

vllm serve Qwen/Qwen3.8-27B --language-model-only \
  --speculative-config '{"method": "dflash", "model": "ZachWangAMD/Qwen3.8-27B-Quark-DFlash2", "num_speculative_tokens": 7}'

Подробнее

Spec-Bench (K=7): acceptance length — 3.67, ускорение против целевой модели — 2.31x.
Acceptance по позициям: 0.781 / 0.568 / 0.415 / 0.312.
Нужен vLLM с DFlash2; целевая модель подаётся с --language-model-only.
Не меняйте conv_kernel_size: при значении 1 acceptance length падает до 1.79.