MTP-драфтер для Scotoma-2

Это MTP-драфтер (multi-token prediction) для Scotoma-2 на базе Gemma 4 31B: дообучен с официального драфтера Google на выходах Scotoma-2. Архитектура, размер и файлы совпадают с драфтером Google, так что это drop-in замена; параметров около 0,47 млрд. Спекулятивное декодирование lossless — текст Scotoma-2 не меняется, меняется только скорость.

🔥 Ключевые особенности

• 🔥 Дообучен на ~8,6M токенов ответов Scotoma-2: writing 33%, tech 30%, RP 29%, tools 7%; 42% — reasoning.
• ✅ При temperature 1 примерно +2% tok/s к драфтеру Google в Q8_0 и Q4_0; ни одна категория не медленнее.
• 🦾 Drop-in замена: та же архитектура, размер и файлы; спекулятивное декодирование не меняет выдачу.
• 📉 В greedy-режиме прирост минимальный: Google Q4_0 примерно так же быстр, как этот драфтер в Q8_0.
• 🎤 Q4_0 стоит около 1 п.п. acceptance, но работает так же быстро, как Q8_0.

🦾 Пример

llama-server -m gemma-4-31B-scotoma-2-Q4_K_M.gguf \
  --spec-type draft-mtp --model-draft Scotoma-2-31B-MTP-Q8_0.gguf \
  --spec-draft-n-max 4 --spec-draft-p-min 0.0

Подробнее

Бенчмарк: NVIDIA GB10 (DGX Spark class), target Q4_K_M, 4 draft tokens, 104 промпта; без драфтера 11,0 tok/s, с этим — 26,9 против 26,3 у Google (Q8_0, temp 1).
Greedy: 28,1 против 27,3 tok/s; Q4_0-драфтер близок к Q8_0.
Обучение: ~8,6M токенов, 2 эпохи, lr 2e-5, loss — total variation distance.
Ограничения: по одному прогону на конфиг, ~1% — шум; DRY/XTC не проверялись; контекст до ~6k токенов; в основном английский; только llama.cpp.