Qwen3.5-9B-MTP
недостающая MTP-голова для ускорения Qwen3.5-9B
2 мин чтенияобновлено
Это отдельный модуль предсказания нескольких токенов (MTP draft head) для языковой модели Qwen/Qwen3.5-9B, упакованный в один файл весом ~464 MiB. В квантованной сборке z-lab/Qwen3.5-9B-PARO в конфиге заявлен слой MTP, но сами веса отсутствуют — из-за этого при включении speculative decoding (метода ускорения генерации за счёт чернового предсказания токенов) vLLM создаёт слой со случайными весами и отклоняет 100% черновиков. Репозиторий содержит оригинальные неизменённые BF16-веса из базовой модели Qwen3.5-9B (источник — guru87/Qwen3.5-9B-MTP, адаптировано для запуска через Basalt на macOS). Пригодится разработчикам, которые разворачивают квантованную Qwen3.5-9B локально и хотят включить ускорение генерации без скачивания полного чекпоинта.
Ключевые особенности
- Чистые веса из оригинала: 15 тензоров в формате BF16, извлечённых напрямую из публичной
Qwen/Qwen3.5-9Bбез каких-либо модификаций. - Поддержка Speculative Decoding: позволяет запускать черновую генерацию в vLLM и Basalt с реальным принятием токенов (~72% в среднем по позициям).
- Компактный размер: один файл
mtp.safetensorsобъёмом около 464 MiB вместо скачивания многогигабайтных шардов базовой модели. - Проверка целостности: в комплекте идёт файл
SHA256SUMSдля сверки контрольных сумм каждого тензора с оригиналом.
Что можно сделать
- Починить speculative decoding в vLLM: встроить MTP-голову в директорию с моделью
z-lab/Qwen3.5-9B-PAROчерез утилитуparoquant-inject-mtpбез дублирования 14 ГБ основных весов. - Запустить на Mac: поднять модель с активным режимом
--mtpи REST API через инструмент Basalt на macOS 27+ (Apple Silicon) без установки Python.
Пример
basalt serve --model goodmai/Qwen3.5-9B-MTP --mtp --rest
# Или интеграция в PARO-сборку для vLLM:
paroquant-inject-mtp \
--paro ./Qwen3.5-9B-PARO \
--mtp-from ./Qwen3.5-9B-MTP/mtp.safetensors \
--output ./Qwen3.5-9B-PARO-MTPПодробнее
Замеры на одной GPU с 24 ГБ VRAM (paroquant + этот MTP, num_spec=2): ~120 tok/s в однопоточном greedy-режиме, средний процент принятия черновых токенов — ~72%.Мультимодальный vision-энкодер в связке работает корректно.
Ограничение: из-за шума INT4-квантования в paroquant процент принятия ниже, чем у старшей версии на 27B (~92%), поэтому итоговый прирост скорости на 9B может быть небольшим — стоит тестировать под конкретную нагрузку.
Лицензия: Apache 2.0 (унаследована от Qwen/Qwen3.5-9B).










Комментарии