Ling-3.1-Flash-DSpark

Ling-3.1-Flash-DSpark — самостоятельно обученная драфт-модель DSpark от AQ-MedAI на 1,13 млрд параметров. Она ускоряет инференс Ling-3.1-Flash через спекулятивное декодирование. Поддерживаются конфигурации с 5 и 7 draft-токенами.

🤖 Ключевые особенности

• 🔥 Драфт-модель для Ling-3.1-Flash: target-модель остаётся основной, DSpark предлагает токены.
• 👀 Конфигурации с 5 и 7 draft-токенами.
• 🚀 По данным карточки, обе конфигурации превосходят AR и MTP baselines на всех оценённых комбинациях бенчмарков и concurrency.
• 🧐 Запуск через SGLang 0.5.22 с алгоритмом DSPARK.
• 💯 Требования: NVIDIA GPU, CUDA 12.0+, PyTorch 2.0+.

🧐 Пример

python3 -m sglang.launch_server \
  --model-path /models/Ling-3.1-flash \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path AQ-MedAI/Ling-3.1-flash-DSpark \
  --speculative-dspark-block-size 5 \
  --trust-remote-code \
  --tp 8 --ep 8

Подробнее

Бенчмарки: GSM8K, MATH500, MBPP, HumanEval, MT-Bench и C-Eval.
Оценка при T=0 и concurrency 1, 8, 16 и 32; метрики — mean accepted length и tokens/s.
Нужны NVIDIA GPU, CUDA 12.0+, PyTorch 2.0+; установка sglang==0.5.22.
В карточке результаты приведены графиками для 5 и 7 draft tokens.