Qwen3-8B-5layer-MoE-16E2A-v1

Это draft-модель для спекулятивного декодирования Qwen3-8B от yushengsu, собранная по рецепту SpecForge PR #1031. В ней 5 decoder-слоёв, GQA 32 heads / 8 KV heads и MoE-FFN: 16 экспертов по 768, top-2. Для serving нужен MoE serving package из PR #1016.

🧐 Ключевые особенности

• 🤖 DSpark-draft для Qwen3-8B: всего 5 decoder-слоёв.
• 🚀 MoE-FFN: 16 экспертов × 768 на слой, top-2; dense FFN на 12 288 разделён на 16 частей.
• 🧐 DSpark projector поверх target-слоёв 1/9/17/25/33, block size 16.
• 💯 Обучение на PerfectBlend regen: 1 420 903 промпта, 6 эпох, 64 586 шагов, 0.1 CE + 0.9 L1.
• 🗿 Экспорты каждые 1 000 шагов и в концах эпох ep1–ep6; нормализованы под SGLang 0.5.18.

😎 Пример

Сценарий: в SGLang выбранный checkpoint подключается как draft к Qwen3-8B. Например, на step-15000 в логе acc 0.7665 и walk accept length 6.091 — по карточке это лучший walk accept length среди приведённых шагов.

Подробнее

💯 Лучший лог: step-15000 — acc 0.7665, ce_loss 0.9047, walk accept length 6.091.
🚀 Обучение: одна нода 8× H200, 2 SGLang capture server + 6 DDP trainer; MoE load-balance loss 0.005, expert bias 0.001/шаг.
⛔ Это не самостоятельная LLM, а 5-слойный draft; стандартных бенчмарков в карточке нет.