Qwen3-4B LiLiCorr Speculator
драфт для ускорения Qwen3-4B
1 min read
Черновая модель (draft) LiLiCorr от MeganEFlynn для speculative decoding с верификатором Qwen/Qwen3-4B. Всего 5 слоёв драфта, по метаданным — около 0,57 млрд параметров. Обучена на 100k диалогов из perfectblend-подмножеств Qwen3-8B-Regenerated-Collection.
Ключевые особенности
- 5 слоёв драфта; у верификатора Qwen3-4B используются слои [2, 10, 18, 26, 34].
- Block size 16 даёт до 15 speculative tokens за шаг.
- Обучение: 100k диалогов, 1 эпоха, muon hybrid optimizer, около 216M токенов.
- Для инференса нужен vLLM с поддержкой LiLiCorr/dflash spec-decode.
- В карточке есть замеры acceptance length на HumanEval, math_reasoning, writing и других бенчах.
Пример
vllm serve Qwen/Qwen3-4B \
--speculative-config '{"method": "dflash", "model": "MeganEFlynn/Qwen3-4B-LiLiCorr-b16-regen-100k", "num_speculative_tokens": 15, "draft_sample_method": "greedy"}'Подробнее
Acceptance length на HumanEval: 4,74 в greedy-режиме и 4,29 при temp 1; math_reasoning — 5,40.Требуется сборка vLLM с поддержкой LiLiCorr/dflash; веса драфта лежат во float32.
Обучение: 16 272 шага, 1 эпоха, lr 6e-4, cosine 4% warmup.










Comments