Языковые моделиKaroUniform
pollux-judge-32b-EAGLE3
спекулятивное ускорение русского LLM-судьи
1 мин чтенияобновлено
Это EAGLE-3 draft head для ai-forever/pollux-judge-32b — 32B русскоязычной LLM-as-a-judge из проекта POLLUX — и её FP8-версии. Не самостоятельная модель: 0,77B параметров (1,5 ГБ), подключается как draft рядом с target в SGLang для speculative decoding.
🔥 Ключевые особенности
- ⚡ Ускоряет decode на H200 с BF16 target: 56 → 181 tok/s (×3,2).
- 📉 Снижает latency: p50/p99 при 0,88 req/s — 5,3/13,1 → 2,2/5,4 с.
- ✔ Acceptance length — 3,7–4,0 токена за verify step.
- 💻 Запуск через SGLang; для FP8 target добавьте
--speculative-draft-model-quantization unquant. - ⚠️ Нужен SGLang с фиксом repetition penalty (#49404), иначе около 8% вердиктов отличаются от обычного декодирования.
- 📌 Не standalone: нужен target
pollux-judge-32bили его FP8-версия.
💻 Пример
python -m sglang.launch_server --model-path ai-forever/pollux-judge-32b --speculative-algorithm EAGLE3 --speculative-draft-model-path KaroUniform/pollux-judge-32b-EAGLE3 --speculative-num-steps 5 --speculative-eagle-topk 1 --speculative-num-draft-tokens 6 --context-length 32768Подробнее
Размер draft-головы — 0,77B параметров, 1,5 ГБ; архитектура EAGLE-3 с одним decoder layer.С фиксом SGLang расхождение вердиктов ~1,1%, MAE 0,524/0,523 против 0,527/0,531 у non-speculative.
Скорость измерена на POLLUX-style judge prompts; пиковый throughput растёт только ×1,11, а токены приходят пачками по ~3,7.
Обучение: SpecForge, LK loss, два этапа; данные POLLUX для обучения не использовались.
Комментарии