Qwen3-8B-5layer-MoE-16E2A-v1
компактный DSpark-draft с MoE-FFN
1 min readupdated
Это draft-модель для спекулятивного декодирования Qwen3-8B от yushengsu, собранная по рецепту SpecForge PR #1031. В ней 5 decoder-слоёв, GQA 32 heads / 8 KV heads и MoE-FFN: 16 экспертов по 768, top-2. Для serving нужен MoE serving package из PR #1016.
Ключевые особенности
- DSpark-draft для Qwen3-8B: всего 5 decoder-слоёв.
- MoE-FFN: 16 экспертов × 768 на слой, top-2; dense FFN на 12 288 разделён на 16 частей.
- DSpark projector поверх target-слоёв 1/9/17/25/33, block size 16.
- Обучение на PerfectBlend regen: 1 420 903 промпта, 6 эпох, 64 586 шагов, 0.1 CE + 0.9 L1.
- Экспорты каждые 1 000 шагов и в концах эпох ep1–ep6; нормализованы под SGLang 0.5.18.
Пример
Сценарий: в SGLang выбранный checkpoint подключается как draft к Qwen3-8B. Например, на step-15000 в логе acc 0.7665 и walk accept length 6.091 — по карточке это лучший walk accept length среди приведённых шагов.
Подробнее
Лучший лог: step-15000 — acc 0.7665, ce_loss 0.9047, walk accept length 6.091.Обучение: одна нода 8× H200, 2 SGLang capture server + 6 DDP trainer; MoE load-balance loss 0.005, expert bias 0.001/шаг.
Это не самостоятельная LLM, а 5-слойный draft; стандартных бенчмарков в карточке нет.










Comments