Qwen3-4B LiLiCorr Speculator

Черновая модель (draft) LiLiCorr от MeganEFlynn для speculative decoding с верификатором Qwen/Qwen3-4B. Всего 5 слоёв драфта, по метаданным — около 0,57 млрд параметров. Обучена на 100k диалогов из perfectblend-подмножеств Qwen3-8B-Regenerated-Collection.

⚙ Ключевые особенности

• ⚙ 5 слоёв драфта; у верификатора Qwen3-4B используются слои [2, 10, 18, 26, 34].
• 🚀 Block size 16 даёт до 15 speculative tokens за шаг.
• 📡 Обучение: 100k диалогов, 1 эпоха, muon hybrid optimizer, около 216M токенов.
• 🔍 Для инференса нужен vLLM с поддержкой LiLiCorr/dflash spec-decode.
• 🎯 В карточке есть замеры acceptance length на HumanEval, math_reasoning, writing и других бенчах.

💻 Пример

vllm serve Qwen/Qwen3-4B \
  --speculative-config '{"method": "dflash", "model": "MeganEFlynn/Qwen3-4B-LiLiCorr-b16-regen-100k", "num_speculative_tokens": 15, "draft_sample_method": "greedy"}'