Qwen3.8-Flash-Next-DFlash2
ускоритель генерации Qwen на Mac
2 min readupdated
Команда san-digital выпустила спекулятивный драфтер (небольшую вспомогательную модель на 0,6 млрд параметров, которая заранее предсказывает сразу несколько следующих токенов для основной нейросети) для Qwen/Qwen3.8-Flash-Next и её квантованной версии Qwen3.8-Flash-Next-Q4_K-Tokspur-GGUF. Модель дообучена на базе incoai/Qwen3.8-Flash-Next-DFlash2 специально для инференс-движка Tokspur на компьютерах Apple Silicon. В отличие от исходного драфтера, эта версия откалибрована под рассуждения со спецтегами , код и мультиязычные тексты (включая CJK-иероглифы), что повышает долю принятых токенов без искажения итоговых ответов. Инструмент пригодится владельцам Mac, которые запускают локальные LLM для программирования, анализа документов и сложных рассуждений.
Ключевые особенности
- Генерация без потери качества: основная модель проверяет предсказания драфтера через
argmaxили rejection sampling, строго сохраняя своё распределение вероятностей. - Калибровка под сложные задачи: дообучена на 2 013 диалогах (~1,75 млн токенов), охватывающих цепочки рассуждений
, японскую юридическую документацию и код на Rust, Python, C++ и TypeScript. - Скромный вес: занимает 1,12 GiB на диске (81 тензор в формате
BF16) и сжимается до 788 MB при загрузке в память. - Расширенный словарь
cjk64k: поддерживает 65 536 токенов, включая латиницу, код, иероглифы CJK и управляющие теги Qwen.
Что можно сделать
- Ускорить локальную генерацию кода на Rust, Python, C++ и TypeScript через локальный HTTP-сервер
tokspur serveна Mac. - Запускать длинные сессии с рассуждениями (
) и анализом договоров на Apple Silicon с меньшими задержками. - Переключаться между режимом
cjk64kдля мультиязычных задач и облегчённым32kдля чисто англоязычных промптов и программирования.
Пример
hf download san-digital/Qwen3.8-Flash-Next-DFlash2 --local-dir ~/Models/Qwen3.8-Flash-Next-DFlash2
tokspur serve \
--speed-preset \
--drafter dflash2 \
--dflash2-dir ~/Models/Qwen3.8-Flash-Next-DFlash2 \
--dflash2-vocab-gather cjk64k \
--dflash2-max-drafts 7 \
--dflash2-lookup hybrid \
--shared-prefix-cache \
--ple-ram-resident
Подробнее
Бенчмарки на Apple M5 Max (40-core GPU, 128 GB): в задачах с кодом на Rust скорость достигает 148,54–158,76 tok/s против 135,36 tok/s у исходного драфтераincoai; на японских текстах с — до 76,12 tok/s.Точность предсказаний (
top_k Recall) выросла с 80,10% до 84,34%, а среднее число принятых токенов при глубине d=7 — на 10,4% (до 2,5050).Требования и совместимость: требуется движок Tokspur версии
>= 0.3.0 на Apple Silicon и целевая модель Qwen3.8-Flash-Next-Q4_K-Tokspur-GGUF.Лицензии: Qwen Community License 1.0 и Apache 2.0 (для компонентов
incoai и раннейм-кода Tokspur).









Comments