JunHill/gui-planner-dflash2
ускоритель инференса для GUI-агента на Qwen3.8-27B
2 min readupdated
Эта модель на 1.92B параметров — специализированная draft-модель (лёгкая вспомогательная нейросеть для алгоритма speculative decoding, которая заранее предсказывает несколько токенов, чтобы основная модель проверяла их пачкой), дообученная для работы в связке с «замороженным» GUI-планировщиком Qwen3.8-27B. Она не работает самостоятельно и не содержит весов основной модели, токенизатора или шаблона чата, а служит исключительно для ускорения генерации действий в графическом интерфейсе. За основу взят чекпоинт z-lab/Qwen3.8-27B-DFlash2, в котором автор JunHill полностью переобучил все параметры черновика без использования LoRA. Решение пригодится разработчикам GUI-агентов, которые разворачивают Qwen3.8-27B в vLLM и хотят повысить скорость отклика при сохранении архитектуры DFlash2.
Ключевые особенности
- Полный файнтюн без LoRA: обновлены все 1,924,404,480 параметров draft-модели за 2 эпохи (126 шагов оптимизатора) на 1,999 примерах планирования GUI.
- Архитектура DFlash2: 5 слоёв, hidden size 5,120, скользящее окно 2,048 токенов, динамические свёртки и селектор top-16 кандидатов с рангом 256.
- Прирост пропускной способности: при размере блока 12 на инференсе скорость достигает 68.51 токенов/с против 44.19 токенов/с у обычной генерации (ускорение в 1.55×).
- Неполная эквивалентность выводов: при ускорении сгенерированные последовательности и вызовы инструментов (tool calls) могут отличаться от ванильного инференса.
Что можно сделать
- Подключить чекпоинт как
draft_modelв vLLM к совместимому целевому планировщику Qwen3.8-27B для ускорения работы мультимодального GUI-агента. - Настраивать длину спекулятивного блока при запуске (7, 11 или 15 токенов), балансируя между скоростью и точностью совпадения tool calls.
- Использовать комплектный скрипт
serve_planner.pyдля соблюдения строгих Qwen XML-схем при вызове инструментов.
Пример
export TARGET_MODEL="/path/to/matching/planner-target"
export DRAFT_MODEL="JunHill/gui-planner-dflash2"
export VLLM_USE_V2_MODEL_RUNNER=1
vllm serve "${TARGET_MODEL}" --dtype bfloat16 --tensor-parallel-size 2 \
--tool-call-parser qwen3_xml --enable-auto-tool-choice \
--speculative-config '{"method":"dflash","model":"JunHill/gui-planner-dflash2","num_speculative_tokens":11,"draft_sample_method":"greedy"}'
Подробнее
Бенчмарк (250 тестов, batch size 1, TP2 на 2× H800): при блоке 12 acceptance length составил 4.311, скорость — 68.51 tok/s (1.550×), совпадение tool calls с базой — 81.2%; при блоке 16 совпадение tool calls достигает 85.2% (67.33 tok/s).Стек и требования: проверено на vLLM 0.32.0+cu129 с обязательным флагом VLLM_USE_V2_MODEL_RUNNER=1 (V1 runner не поддерживается), контекст до 65,536 токенов, лимит до 4 изображений на промпт.
Ограничения: в репозитории нет весов целевой модели Qwen3.8-27B, датасета и токенизатора; обучение велось на 8× NVIDIA H800; лицензия Apache 2.0.










Comments