Qwen3.8-27B-DSpine-b16-TF4bit-AgentMix
ускоритель генерации для 4-битной Qwen3.8-27B
2 min readupdated
Экспериментальная draft-модель (лёгкая вспомогательная нейросеть для speculative decoding — метода ускорения генерации, при котором маленькая модель предлагает сразу несколько токенов вперёд, а большая проверяет их за один проход) от автора Maxrio (lasse_ai). Она основана на tencent/Qwen3.8-27B-DSpine-b16 (2.03B параметров, формат BF16) и дообучена специально под 4-битную конвертацию TensorFold/Qwen3.8-27B-MLX-4bit. В отличие от базового drafter от Tencent, версия AgentMix адаптирована под агентские сценарии, код, чат и структурированный вывод именно для 4-битной целевой модели, повышая долю принимаемых токенов за раунд. Пригодится разработчикам, запускающим локальную Qwen3.8-27B через tensorfold-native на CUDA.
Ключевые особенности
- Точечная адаптация под 4 бита: оптимизирована под целевую модель
TensorFold/Qwen3.8-27B-MLX-4bit(group size 64, 4.695 бит на вес), при этом сами веса drafter сохранены в BF16. - Акцент на агентских задачах: обучение расширено на 550 агентских контекстов из 254 репозиториев (SWE-smith/SWE-agent, OpenHands и mini-SWE-plus), а итоговый индекс записи составил 6 848 примеров.
- Рост принятых токенов за раунд: на валидационном наборе из 810 промптов показатель вырос до 3.8803 (+0.0353 к оригиналу), а в агентском классе — до 7.5359 (+0.4007).
- Проверенная корректность вывода: модель прошла 48 сравнений загрузки и 24 проверки точного совпадения токенов с базовым режимом при параллелизме 1/2/4/8, отмене запросов и возобновлении кэша.
Что можно сделать
- Ускорить локальный инференс Qwen3.8-27B: подключить как drafter в связке с
TensorFold/Qwen3.8-27B-MLX-4bitв средеtensorfold-nativeна видеокартах NVIDIA с CUDA. - Применить в агентских пайплайнах: использовать для задач разработки и работы с репозиториями (в духе SWE-agent и OpenHands), где модель показала наибольший прирост принятия черновых токенов.
- Воспроизвести замеры скорости: использовать приложенный протокол GB10 для независимого A-B-B-A бенчмаркинга реальной скорости генерации на своём сервере.
Пример
tensorfold-native serve ./qwen-target --backend cuda --drafter ./drafter \
--context 16384 --parallel 1 --no-update-check
Подробнее
Не является самостоятельной LLM: требует целевую модельTensorFold/Qwen3.8-27B-MLX-4bit и совместимый рантайм tensorfold-native с бэкендом CUDA (работа на Apple MLX не проверялась).Оценка на dev-наборе (810 промптов): 3.8803 токена/раунд в среднем, 7.5359 в агентских задачах, 3.9283 в коде; на независимом наборе jschmied (110 промптов) — 6.0042 против 6.0788 у оригинала.
Обучение: 990 шагов (выбран чекпоинт step 823), batch size 9, peak LR 1e-5, cosine decay, квоты agent/chat/code/structured — 3/2/2/2; лицензия Apache-2.0.
Ограничение: это экспериментальный релиз — полный замер реальной скорости (wall-clock speedup) остановлен на 76 из 192 прогонов, итоговый прирост скорости на сервере пока не подтверждён.










Comments