Kimi-K3.1-Dflash2-Preview

Релиз RadixArk: DFlash2-спекулятор для Kimi-K3.1-Pro, который ускоряет инференс через speculative decoding в SGLang. Это не самостоятельная LLM, а BF16-драфт на 2,78 млрд параметров: пятислойный MLA-стек работает вместе с target-моделью и использует её эмбеддинги, LM head, tokenizer и chat template.

🔥 Ключевые особенности

• 🔥 Пятислойный MLA-драфт: hidden size 7168, 96 heads, q LoRA rank 1536, KV LoRA rank 512.
• 👁 Читает hidden states из шести слоёв target [7, 23, 51, 67, 83, 91], объединяет их одной проекцией и применяет block-causal sliding-window attention с окном 1 024 токена.
• 📌 Low-rank селектор (rank 256, top-k 32) выбирает каждый предложенный токен из top-k кандидатов с учётом предыдущего токена — блок сэмплируется как путь, а не по позициям.
• 🔨 Блочные свёртки (kernel 2, group 16) в ветках attention и MLP каждого слоя.
• 💻 Конфиг на ширину верификации 5 токенов (1 текущий + 4 драфта); те же веса работают и при ширине 8.
• 🌕 Контекст в конфиге — 1 048 576 токенов (YaRN, factor 32), как у target; это не то же самое, что окно attention.

💻 Пример

python -m sglang.launch_server --model-path moonshotai/Kimi-K3.1-Pro --tp-size 8 --speculative-algorithm DFLASH --speculative-draft-model-path RadixArk/Kimi-K3.1-Dflash2-Preview --speculative-num-draft-tokens 5 --speculative-use-block-verification

Подробнее

📌 acc_len при ширине 5: GSM8K 4,259; AIME26 3,232; GPQA Diamond 3,276. При ширине 8: 5,780 / 3,696 / 3,768.
💻 Замеры — на одном узле 8× B300 (TP8), FP8 KV cache для target и драфта, контекст 131 072, до 64 параллельных запросов при ширине 5.
🚨 Драфт не самостоятельная LLM; конфиг контекста 1M не гарантирует качество принятия на всей длине. В карточке измерена только acceptance length, не точность ответов.