HSpec-Qwen27B-4m3a-epoch1
драфтер, который ускоряет Qwen3.8-27B
2 min readupdated
Это промежуточный чекпоинт H-Spec-драфтера для Qwen/Qwen3.8-27B: небольшой модели на 3.52B параметров, которая предлагает токены, а основная 27B-модель их проверяет. Так работает speculative decoding — генерация становится быстрее без смены основной модели. Архитектура — mamba_attn_hybrid; на инференсе драфтер читает KV-кэш верификатора прямо в процессе, без отдельного extraction-сервера. Снимок сделан в середине 1-й эпохи (шаг 29 470, около 38% первой эпохи из двух). Пригодится тем, кто уже обслуживает Qwen3.8-27B и хочет попробовать ускорение через спекулятивное декодирование.
Ключевые особенности
- Драфтер на 3.52B параметров для Qwen3.8-27B, обученный по рецепту H-Spec.
- Архитектура
mamba_attn_hybridи частичный RoPE: theta 1e7, partial_rotary_factor 0.25, head_dim 256. - Обслуживается на depth 8; заявлены loss 0.458, accept rate 0.642 и accept length 4.07.
- Требуется форк vLLM: stock-версия не содержит метод
mamba_attn_hybridи путь partial-RoPE.
Что можно сделать
- Поднять сервер vLLM с Qwen3.8-27B и этим драфтером, указав
--spec-method mamba_attn_hybridи--spec-tokens 8. - Запустить оценку throughput на HumanEval через
scripts/evaluate/evaluate.pyиз speculators. - Использовать launcher
scripts/launch_vllm.py, чтобы собрать аргументы и сохранить provenance эксперимента.
Пример
Сначала нужны форки vLLM и speculators из карточки; затем можно скачать чекпоинт и запустить сервер:
huggingface-cli download MeganEFlynn/HSpec-Qwen27B-4m3a-epoch1 --local-dir hspec-ckpt
vllm serve Qwen/Qwen3.8-27B \
--spec-model hspec-ckpt \
--spec-method mamba_attn_hybrid \
--spec-tokens 8 \
--max-model-len 8196 \
--attention-backend FLASHINFER
Подробнее
Метрики снимка: loss 0.458, accept rate 0.642, accept length 4.07.Валидация при depth 8 измеряет acceptance до позиции 7: 0.822 / 0.728 / 0.659 / 0.604 / 0.559 / 0.520 / 0.486.
Нужны точные ветки/коммиты форка vLLM и speculators; optimizer state в репозиторий не включён.
Это промежуточный чекпоинт, а не финальная модель.










Comments