NInfer Windows DSpine
разгон Qwen3.8-27B на RTX 5090
2 мин чтенияобновлено
Набор из порта инференс-движка NInfer под Windows (CUDA 13.1) и черновой модели DSpine (от Tencent) для speculative decoding (метод ускорения генерации, при котором маленькая модель предсказывает сразу пачку токенов, а большая их проверяет за один проход). Сборка заточена под одну видеокарту RTX 5090 (32 GB, архитектура sm_120a) и работает в связке с базовой Qwen3.8-27B или файнтюном Coder390. В отличие от обычного запуска, DSpine предлагает сразу 15 токенов за шаг без потери качества итогового ответа. Подойдёт владельцам флагманских видеокарт NVIDIA, которые запускают локальные LLM под Windows и хотят выжать максимум скорости в кодинге и тексте.
Ключевые особенности
- Готовый движок под Windows: в репозитории есть скомпилированный
ninfer-serve-dspine.exeс OpenAI-совместимым API на порту 8080. - Формат NVFP4: квантование таблиц черновой модели снижает её вес с 2218.7 MiB до 1347.3 MiB, экономя около 869 MiB VRAM без падения скорости.
- Без потери точности: целевая модель верифицирует 15 черновых токенов за шаг, сохраняя идентичный greedy-вывод (при temperature 0).
- Два варианта адаптеров: отдельные суффиксы
officialдля стандартной Qwen3.8-27B иcoder390для специализированной кодерской версии.
Что можно сделать
- Ускорить локального ИИ-ассистента для кода: подключить OpenAI-совместимый эндпоинт
/v1/chat/completionsк IDE или скриптам с флагом--spec dspine --draft-tokens 15. - Собрать свой гибридный файл модели: объединить базовый чекпоинт Qwen3.8-27B DFlash2 с готовым NVFP4-суффиксом простым байтовым копированием без переквантования.
Пример
python scripts\fuse_dspine_draft.py models\official-dflash2.ninfer draft\dspine-draft-official-nvfp4tab.ninfer models\official.dspine.ninfer
launch\serve-dspine-official.batПодробнее
Скорость с NVFP4-таблицами (RTX 5090): 339.3 tok/s на коде (37.1% принятия токенов), 211.3 tok/s на прозе и 858.4 tok/s на счёте.Память: занято ~24.36 GiB VRAM после загрузки, свободно остаётся 8.59 GiB.
Ограничения: сами веса Qwen3.8-27B и Coder390 не включены в репозиторий — их нужно скачать отдельно в формате DFlash2; суффиксы привязаны к конкретной модели и не взаимозаменяемы.
Лицензия: Apache 2.0.










Комментарии