Qwen3-1.7B EAGLE-3

Это EAGLE-3 draft head для Qwen/Qwen3-1.7B от Lichen-Creator: один слой LlamaForCausalLMEagle3 с draft-словарём на 32k токенов. Обучен онлайн на 41 405 диалогах, сгенерированных самой Qwen3-1.7B. Готов к загрузке в SGLang 0.5.9 и vLLM 0.11.2 без конвертации.

🧩 Ключевые особенности

• 🦾 Стандартный EAGLE-3 checkpoint с d2t/t2d: проверен в SGLang 0.5.9 и vLLM 0.11.2.
• 📀 Всего 274 MB на диске: собственного embed_tokens нет, используется эмбеддинг целевой модели.
• 🎯 До 2.135x end-to-end ускорения на RTX 4080 SUPER в vLLM: 150.3 → 321.0 tok/s, acceptance 2.89.
• ⚙ Для длинных ответов рекомендуется num_speculative_tokens=4, для коротких (≤128 tok) — 3.
• 🌐 Опережает reference-релиз на том же железе: 282.4 против 264.7 tok/s в vLLM и acceptance 2.175 против 2.111 в SGLang.

💡 Пример

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-1.7B \
  --speculative-config '{"model": "Lichen-Creator/Qwen3-1.7B_eagle3", "num_speculative_tokens": 4}' \
  --dtype bfloat16 --gpu-memory-utilization 0.55

Подробнее

Бенчмарки: vLLM на RTX 4080 SUPER — 2.135x при 1024 токенах, C=1; SGLang на RTX 4090 — 1.212x при C=1.
Железо: RTX 4080 SUPER 32GB и RTX 4090 48GB; нужны SGLang 0.5.9 или vLLM 0.11.2 и transformers 4.57.1.
Ограничения: выходы не бит-в-бит совпадают с target; d2t/t2d специфичны для этой модели; оценка на 90 промптах; данные преимущественно английские.