Qwen3-8B-2layer-Dense-FFN6144

Двухслойная draft-модель по схеме DSpark от yushengsu для спекулятивного декодирования Qwen3-8B. Это плотный аналог 2-слойных MoE-драфтов при равном числе активных параметров: один SwiGLU MLP шириной 6144 на слой, всего 0.334 B параметров. Обучение ещё идёт — шаг 10 850 из 53 822.

💪 Ключевые особенности

• ✊ 2 decoder-слоя, hidden 4096, GQA 8 heads / 2 KV heads (head_dim 128), SwiGLU шириной 6144
• 💸 0.334 B параметров — столько же активных, сколько у MoE-версии 8E4A (у неё 0.485 B всего)
• 👉 Проектор DSpark над слоями 1/9/17/25/33, vanilla Markov head ранга 256, block size 16, без confidence head
• 🍒 Данные: 1 420 903 промпта Open Perfect Blend с ответами Qwen3-8B (temperature 0, thinking off), 5 эпох
• 🍌 Лосс 0.1 CE + 0.9 L1 на 512 anchors, AdamW с lr 6e-4, cosine, 4% warmup
• 😐 Папки <k>ep/ сразу поднимаются в SGLang 0.5.18

👉 Пример

Чекпоинт подключается к целевой Qwen3-8B теми же флагами SGLang:

# SGLang 0.5.18
--speculative-algorithm DSPARK \
--speculative-draft-model-path <путь к папке 1ep/>

Подробнее

Эпоха 1 (конец на шаге 10 764): accuracy 0.635, cross-entropy 1.598, walk accept length 4.27.
Обучение шло на 7 GPU узла 8x B200: 1 SGLang capture server + 6 trainer ranks (GPU 1 троттлит и не использовалась).
Готов только чекпоинт первой эпохи, прогон продолжается — итоговые метрики будут другими.
Есть вариант с FFN шириной 3072.