Qwen3-8B-5layer-Dense-FFN49152
5-слойная draft-модель для ускорения Qwen3-8B
2 мин чтенияобновлено
Эта модель представляет собой компактный 5-слойный черновик (draft-модель) для спекулятивного декодирования (метод ускорения генерации, когда маленькая модель быстро накидывает токены, а основная их проверяет) на базе Qwen3-8B. Она создана автором yushengsu как плотный (dense) аналог версии на базе MoE (Mixture-of-Experts — архитектуры с маршрутизацией по экспертам) Qwen3-8B-5layer-MoE-8E4A-v1: вместо 8 экспертов с активацией 4 здесь используется один плотный блок SwiGLU FFN шириной 49152. За счёт этого модель сохраняет ту же вычислительную нагрузку на токен (FLOPs), но требует вдвое меньше параметров в FFN-слоях — около 3.3 B всего против 6.4 B у MoE-версии. Пригодится разработчикам, запускающим Qwen3-8B в SGLang и ищущим баланс между скоростью черновика и расходом памяти.
Ключевые особенности
- Архитектура: 5 слоёв с механизмом внимания GQA (32 головы, 8 KV-голов по 128), привязанных к слоям 1, 9, 17, 25 и 33 базовой модели, с rank 256 для markov head.
- Плотный FFN вместо MoE: промежуточная размерность SwiGLU FFN равна 49152 (4 × 12288), что даёт 0.60 B параметров на слой вместо 1.21 B у 8E4A при идентичных активных FLOPs.
- Рецепт обучения DSpark: обучена на датасете PerfectBlend, перегенерированном через Qwen3-8B (температура 0, режим non-thinking), с контекстом 8192 токена и шаблоном
qwen3-instruct. - Чекпоинты по эпохам: в репозитории выгружаются сохранения по эпохам от
1ep/до5ep/в формате Hugging Face для запуска черезQwen3DSparkModel.
Что можно сделать
- Ускорить инференс Qwen3-8B: подключить модель как DSpark draft в движке SGLang через класс
Qwen3DSparkModelдля снижения задержки генерации. - Сравнить dense и MoE черновики: протестировать
FFN49152противQwen3-8B-5layer-MoE-8E4A-v1и более узкойFFN24576на своих задачах, оценив скорость принятия токенов и потребление VRAM.
Пример
Сценарий использования из карточки: модель предназначена для работы в связке с базовой Qwen/Qwen3-8B в среде SGLang в качестве плотного DSpark-черновика (класс Qwen3DSparkModel) с длиной контекста до 8192 токенов и шаблоном qwen3-instruct. Выбирать нужную стадию обучения можно через директории чекпоинтов от 1ep/ до 5ep/.
Подробнее
Объём параметров: ~3.3 B всего (0.60 B на слой в FFN вместо 1.21 B у 8E4A).Обучение: 5 эпох (53 822 шага, глобальный батч 132), cosine lr от 6e-4 с warmup 4 %, DSpark CE 0.1 / L1 0.9, 512 якорей, decay gamma 7, seed 42.
Железо и код: два сервера по 4× GB300 в одном домене NVLink, код из ветки
exp/qwen3-8b-5layer-dense49152-dspark (SpecForge) с use_liger_kernel: true.









Комментарии