Qwen3-Omni-30B-A3B thinker DFlash

Это DFlash-драфт для thinker-части Qwen3-Omni-30B-A3B-Instruct — 48-слойной MoE-модели, которая отвечает на текстовые, аудио, видео и image-промпты. Автор дообучил z-lab/Qwen3-Coder-30B-A3B-DFlash на ответах самой thinker-модели: около 170 тыс. текстовых и аудиопромптов, плюс train-сплит GSM8K. Драфт использует эмбеддинги и output head целевой модели, поэтому отдельной головы у него нет.

🔥 Ключевые особенности

• 🚀 Спекулятивное декодирование: block size 8, до 7 предложений за раунд, некаузально внутри блока.
• 🧐 8 слоёв Qwen3: hidden 2048, intermediate 6144, 32 головы / 4 KV-головы, head_dim 128.
• 👀 Опирается на выходы слоёв 1, 12, 23, 34 и 45 целевой 48-слойной модели; контекст — 65 536 позиций.
• 🔥 Дообучение на 170 740 промптах и 169 681 ответе thinker-модели; аудио — транскрипция, суммаризация, перевод и другое.
• 🫡 Запускается через sglang-omni с DFLASH; точность на проверках не меняется.

🚀 Пример

python -m sglang_omni.cli serve --model-path Qwen/Qwen3-Omni-30B-A3B-Instruct --text-only --port 8000 \
  --thinker.engine.speculative_algorithm DFLASH \
  --thinker.engine.speculative_draft_model_path wilsonzheng0327/Qwen3-Omni-30B-A3B-Instruct-thinker-dflash