kimi-k3.1-pro-eagle3.1-mla

Это EAGLE-3.1 MTP draft model с MLA для спекулятивного декодирования при инференсе Kimi-K3.1-Pro. Модель от lightseekorg содержит 3,02 млрд параметров, обучена через TorchSpec и продолжает kimi-k3-eagle3.1-mla. Карточка помечена как pre-release: чекпоинт из сокращённого прогона (1/4 эпохи), throughput ещё не измерен.

✅ Ключевые особенности

• 🦾 MLA-драфтер использует меньше KV cache и лучше подходит под MLA-архитектуру Kimi-K3.1-Pro.
• ✅ EAGLE-3.1 добавляет post-norm на hidden states драфтера и per-hidden-state RMSNorm перед фузией.
• 🔥 По данным карточки, это даёт выше acceptance, устойчивость к смене chat template и более медленное падение acceptance с глубиной цепочки и ростом контекста.
• 📉 Acceptance length: 2,966 на GSM8K, 2,676 на MATH500, 2,484 на HumanEval при topk=1, num_steps=3, num_draft_tokens=4.
• 🤝 Обучение: Anchored EAGLE-3, aux layers [2, 46, 90], draft vocab 163840; замеры на GB200, TP=16, 4 ноды, vLLM.

💥 Пример

vllm serve moonshotai/Kimi-K3.1-Pro --tensor-parallel-size 16 --speculative-config '{"model": "lightseekorg/kimi-k3.1-pro-eagle3.1-mla", "method": "eagle3", "num_speculative_tokens": 3, "attention_backend": "TRITON_MLA"}' --reasoning-parser kimi_k3 --tool-call-parser kimi_k3 --enable-auto-tool-choice --trust-remote-code

Подробнее

Pre-release: 1/4 эпохи, 54 612 шагов; throughput пока не измерен, чекпоинт могут заменить.
Замеры acceptance: GB200, TP=16, 4 ноды, vLLM K3.1 build, temperature=1.0, top_p=0.95.
Для SGLang-native loader layer ids: [1, 45, 89], иначе теряется около 0.35 accept_length.
Для совпадения с обучением используйте VLLM_KIMI_K3_AUX_ATTN_RES_STREAM=0.