WebGPU Chat graphs
ускоренные ONNX-графы для запуска LLM в браузере
2 min readupdated
Набор модифицированных ONNX-графов без весов от разработчика AMINOXDEV, созданный для веб-приложения WebGPU Chat на базе transformers.js. В каждом файле у всех узлов com.microsoft.MatMulNBits параметр accuracy_level изменён на 4 — это позволяет движку ONNX Runtime (WebGPU) задействовать быстрый путь вычислений int8 DP4A при одновременной обработке 4 и более токенов промпта на видеокартах с поддержкой subgroups. Потоковая генерация по одному токену остаётся без изменений, а сами веса подгружаются напрямую из исходных репозиториев Qwen3.5 и Gemma 4. Инструмент пригодится разработчикам браузерных ИИ-приложений, которые хотят ускорить этап чтения длинных промптов (prefill) без переобучения моделей.
Ключевые особенности
- Точечная оптимизация графа: изменено только значение
accuracy_level = 4в узлахMatMulNBits, все остальные узлы, входы и выходы остались прежними. - Ускорение обработки промптов: активирует int8 DP4A matmul в бэкенде WebGPU при пакетах от 4 токенов на совместимых GPU.
- Работа с внешними весами: репозиторий содержит только лёгкие файлы структуры графа (
.onnx), а веса берутся из оригинальных ревизийQwen3.5-4B-ONNX-OPTиgemma-4-12B-it-ONNX. - Открытые лицензии: графы наследуют условия оригинальных моделей Qwen3.5 и Gemma 4 (Apache 2.0).
Что можно сделать
- Ускорить браузерный чат на WebGPU: подменить стандартные файлы
decoder_model_merged_q4f16.onnxв проектах на базеtransformers.jsи ONNX Runtime Web. - Сравнить производительность prefill-фазы: протестировать прирост скорости обработки длинных контекстов для Qwen3.5-4B и Gemma-4-12B (включая QAT-версию) на видеокартах с поддержкой
subgroups.
Пример
В репозитории представлены три оптимизированных файла графов с привязкой к конкретным ревизиям весов:
• qwen3.5-4b-opt/decoder_model_merged_q4f16.onnx — берёт веса из onnx-community/Qwen3.5-4B-ONNX-OPT@bb07226.
• gemma-4-12b-qat/decoder_model_merged_q4f16.onnx — для версии с QAT Q4_0 весами и fused GroupQueryAttention (james58899/gemma-4-12B-it-qat-ONNX@60555e6).
• gemma-4-12b/decoder_model_merged_q4f16.onnx — для базовой квантованной версии (AMINOXDEV/gemma-4-12B-it-ONNX@90e0a27).
Подробнее
Веса моделей в репозитории отсутствуют и загружаются из указанных исходных ревизий.Ускорение работает только при обработке от 4 токенов за раз и требует GPU с поддержкой
subgroups.Лицензии: Apache 2.0 (по правилам исходных моделей Qwen3.5 и Gemma 4).










Comments