Qwen3.5-4B-DFlash2
спекулятивный драфтер для Qwen3.5-4B
2 мин чтения
Это DFlash2 speculative drafter на 0,66 млрд параметров для Qwen/Qwen3.5-4B. Репозиторий vllm-project — копия чекпойнта nchapman/Qwen3.5-4B-DFlash2 (коммит 8d8bb62), которую vLLM CI держит у себя, чтобы снизить supply-chain-риски. Опубликован финальный чекпойнт после 6 эпох обучения.
Ключевые особенности
- Обучен на 260M токенов: 100k диалогов Nemotron-Cascade-2, ответы ассистента перегенерированы развёрнутым W4A16-GPTQ квантом при temp 0.7 / top_p 0.95 / top_k 20.
- Работает как драфтер и с bf16-базой, и с W4A16-GPTQ квантом, на котором обучался.
- 6-tap hidden states; block 16 / 15 spec tokens; lr 6e-4, cosine schedule, 4% warmup.
- В среднем по категориям обходит native MTP k=3: weighted τ 4.65 против 3.21 (+1.43).
- Слабее всего перевод: +0.08 τ; сильнее всего math, code и rag.
Пример
Сценарий из карточки: подключить чекпойнт как speculative drafter к Qwen/Qwen3.5-4B через speculators и vLLM. На serving-конфиге t=0.7 драфтер предлагает токены, верификатор их проверяет; готового сниппета запуска в карточке нет, но есть config.py, который нужно загружать с trust_remote_code.
Подробнее
Acceptance τ на t=0.7: 3.79 у драфтера против 2.86 у native MTP k=3; на t=0.0 — 4.05 против 2.99.Категории (temp 0): math_reasoning 6.64, HumanEval 4.85, rag 5.03.
Требования: speculators 0.8.1, vllm 0.31.0, transformers 5.16.1, torch 2.13.0, compressed-tensors 0.17.0.
Ограничения: при greedy лучше оказался epoch 4 (4.20 против 4.05), а τ заметно зависит от температуры и имеет разброс.










Комментарии