LFM3-1.7B-DSpark

Это lossless DSpark draft-модель для LiquidAI/LFM3-1.7B от rasyosef. Около 0.3B параметров, bfloat16, block size 8; обучена с speculators. Ускоряет генерацию целевой модели без потери качества за счёт спекулятивного декодирования.

🔥 Ключевые особенности

• ⚡ Ускорение до 3.14× на math и 2.63× на code; в среднем 2.88× при параметрах по умолчанию.
• ✔ Средняя длина принятия: 4.10 на math, 3.24 на code, 2.83 в целом при block size 8.
• 🖥 Работает с vLLM (нужен PR #66323) и llama.cpp через GGUF-драфтер.
• ⚙ Draft vocab 32,000; aux hidden states из слоёв верификатора 3/11/19/23.
• 📌 Обучена на 100 000 отфильтрованных Open PerfectBlend промптов, 4 эпохи, lr 4e-4.

💻 Пример

Запуск через vLLM:

vllm serve LiquidAI/LFM3-1.7B --port 8000 --speculative-config '{"model": "rasyosef/LFM3-1.7B-DSpark", "num_speculative_tokens": 8}'

Подробнее

Бенчмарки: 692.9 tok/s на math против 220.8 без драфтера; 580.2 tok/s на HumanEval против 221.0.
Замеры на одной A100 40GB, concurrency 1, temperature 0.1, top_k 50, repetition_penalty 1.1.
Ограничения: только для LFM3-1.7B; throughput проверен лишь на math_reasoning и HumanEval; temperature 0, конкурентная нагрузка и контексты длиннее 2560 токенов не оценивались.
Лицензия Apache 2.0.