MiniMax-M3.1-Flash-Dflash2

DFlash2 draft-модель для MiniMax M3.1 Flash от RadixArk: предлагает токены параллельно, а целевая модель их верифицирует в SGLang. Архитектура MiniMaxDFlash2DraftModel, 5 слоёв GQA, 2,05 млрд параметров в 81 BF16-тензоре (один файл Safetensors).

🧐 Ключевые особенности

• 🚀 Ширина верификации — 8 токенов: один anchor и 7 предложений за шаг.
• 👀 Hidden size 6 144, 64 query heads и 4 KV heads, скользящее окно внимания 4 096 токенов.
• 🫡 Селектор ранга 256 с top-k 16; вспомогательные слои целевой модели: [3, 17, 31, 45, 59].
• 🔜 Настроенная максимальная длина позиций — 1 048 576, но замеры шли на контексте 16 384.
• 🔥 Сама по себе не работает: нужна целевая модель — она даёт embedding, output head, tokenizer и нативный chat template.

🎁 Пример

SGLANG_RAGGED_VERIFY_MODE=static \
python -m sglang.launch_server \
  --model-path MiniMaxAI/MiniMax-M3.1-Flash \
  --trust-remote-code \
  --tp-size 4 \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path RadixArk/Minimax-M3.1-Flash-Dflash2 \
  --speculative-num-draft-tokens 8

Подробнее

acc_len: GSM8K — 5,16 (1 319 сэмплов), MBPP — 4,38, AIME26 — 4,31, MT-Bench — 3,58.
Замеры: temperature=1.0, top_p=0.95, top_k=-1, нативное adaptive thinking, TP4 на GB300, целевая модель в NVFP4 с FP8 KV cache, draft в BF16 с FA4.
Ограничение: acc_len отражает поведение декодирования, а не качество ответов или пропускную способность; полная длина контекста не проверялась.