Ternary-Bonsai-2-27B-PQ2_0-ONNX-WebGPU
ONNX-экспорт большой языковой модели для WebGPU
1 мин чтенияобновлено
Этот релиз представляет собой экспорт весов языковой модели Ternary-Bonsai-2-27B в формат ONNX с поддержкой провайдера выполнения WebGPU. Основанная на архитектуре Qwen3.8-27B, модель использует 2-битное квантование PQ2 и FP16 для плавающих тензоров без потери структуры весов. Пакет включает все 64 декодирующих слоя, файлы токенизатора и конфигурации для запуска генерации текста в поддерживаемых средах. Решение пригодится разработчикам, экспериментирующим с запуском больших моделей локально или в веб-окружении.
Ключевые особенности
- Экспорт в ONNX Runtime с поддержкой WebGPU execution provider
- 2-битное квантование матриц PQ2 и сохранение FP16 для рекуррентного состояния
- Полный набор из 64 декодирующих слоев и токенизатора из GGUF-чекпоинта
- Наличие конфигурации генерации и шаблона чата chat_template.jinja
Что можно сделать
- Интегрировать модель в веб-приложения и сервисы с поддержкой ONNX Runtime WebGPU
- Запустить локальную генерацию текста на совместимом с WebGPU железе
- Использовать файлы модели и шарды весов для кастомных пайплайнов инференса
Пример
Для работы с экспортом необходимо сохранить все файлы (включая четыре шарда весов общей массой около 7.25 ГБ, model.onnx и genai_config.json) в одну директорию и использовать ONNX Runtime с WebGPU провайдером.
Подробнее
Базовая модель: Qwen3.8-27BАрхитектура: 64 декодирующих слоя, hidden size 5,120
Квантование: MatMulNBits, bits=2, block_size=128
Размер весов: 4 файла шардов суммарно около 7.25 ГБ










Комментарии