Qwen3.8-27B DFlash2 RU

Это не самостоятельная LLM, а DFlash2-спекулятор для Qwen3.8-27B от lapalaba. Он предлагает блоки токенов, а верификатор проверяет их и выдаёт финальный ответ. Дообучен на 271 148 примерах русскоязычных агентных взаимодействий, production traces и RAG.

🧩 Ключевые особенности

• 🎯 Только draft head: загружать как чат-модель нельзя, нужен верификатор Qwen3.8-27B.
• 🇷🇺 Заточен под русскоязычные retail- и RAG-сценарии, а также агентные запросы.
• 🧠 Архитектура DFlash2: 5 draft-слоёв, hidden size 5 120, block size 8, bfloat16.
• 📦 Обучение шло с контекстом 24 576 токенов и отключённым thinking mode.
• ⚙️ Поддерживается в SGLang и vLLM 0.28.0+; в vLLM block size 8 = 7 speculative tokens.

💻 Пример

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path lapalaba/Qwen3.8-27B-DFlash2-ru \
  --speculative-dflash-block-size 8

Подробнее

При concurrency 32: HumanEval +6,4% (1 117 tok/s), Retail +0,6% (405 tok/s), MBPP −14,2% (975 tok/s).
Замеры на 1×NVIDIA H200 с FP8-верификатором Qwen3.8-27B, SGLang и FlashAttention 3.
Ограничения: нужен верификатор; на MBPP есть просадка из-за специализации под русскоязычный retail.
Выбран step 542 298: eval accuracy 0,66958, loss 2,03607.