HSpec-Qwen27B

Спекулятивный драфтер H-Spec с архитектурой mamba_attn_hybrid для целевой модели Qwen/Qwen3.8-27B. Размер — 4,1 млрд параметров, обучен через vllm-project/speculators; глубина драфта 5, размер блока 6, словарь драфта 64k, KV-sharing на full-attention слоях верификатора 3/19/35/51/63. Чекпойнт заменяет предыдущую pre-RoPE-fix версию: Q/K-поворот драфтера теперь соответствует partial rotary целевой модели.

🔎 Ключевые особенности

• ⚡ Спекулятивное декодирование с глубиной драфта 5 и размером блока 6.
• 🔍 Обучен на 49,5k сэмплов OpenPerfectBlend (Qwen3.8-27B regenerated), 1 эпоха, 7×H100.
• 🔐 Исправлен RoPE: Q/K-поворот соответствует partial rotary целевой модели, включая neox pairing j↔j+32.
• 📡 Hidden states и shared KV извлекались онлайн из целевой модели.
• ⚙ Запуск через vLLM с --spec-method mamba_attn_hybrid и --spec-tokens 5.

🚀 Пример

vllm serve Qwen/Qwen3.8-27B \
  --spec-model MeganEFlynn/HSpec-Qwen27B \
  --spec-method mamba_attn_hybrid \
  --spec-tokens 5 \
  --max-model-len 8196 --attention-backend FLASHINFER

Подробнее

Валидация: val loss 0.735, val accept rate 0.511, val EAL 2.998.
HumanEval acceptance length — 2.5590 (101 865 драфтов; позиции 0–4: 0.623 / 0.390 / 0.254 / 0.173 / 0.119).
Для запуска нужна Qwen3.8-27B и vLLM с поддержкой mamba_attn_hybrid; VRAM в карточке не указана.