BotPsy 0.8B WebGPU
запуск модели прямо в браузере
2 мин чтенияобновлено
Это сборка компактной языковой модели qvac/BotPsy-0.8B (0,8 млрд параметров), подготовленная для работы напрямую в браузере через WebGPU (технологию аппаратного ускорения графики и вычислений в веб-приложениях). В отличие от привычных репозиториев с форматами Transformers или GGUF, модель упакована в кастомные пакеты с манифестами и шардами (разбитыми на части файлами весов), которые загружаются и кэшируются в локальное хранилище браузера OPFS. Репозиторий пригодится веб-разработчикам, которые интегрируют чат-приложение BotPsy и хотят запускать инференс на стороне клиента без серверного бэкенда.
Ключевые особенности
- Три варианта квантования текстовых весов:
Q8_0, более лёгкийQ4_K_Mи смешанныйmixed(проекции внимания в Q8, остальная часть модели в Q4_K_M). - Отдельный пакет
botpsy-vision-bf16-f32с 12-слойным энкодером зрения (vision tower) для работы с изображениями. - Проверка целостности каждого шарда и ассета по контрольным суммам SHA-256 перед установкой в OPFS.
- Готовая структура директорий с токенизаторами, шаблонами чата и ассетами для прямого подключения к браузерному рантайму.
Что можно сделать
- Подключить модель к веб-приложению BotPsy для локального чат-инференса в браузере с проверкой хешей и кешированием в OPFS.
- Выбрать оптимальный баланс между скоростью загрузки и точностью ответов за счёт готовых пакетов
Q4_K_M,Q8_0или смешанной сборкиmixed. - Развернуть собственное зеркало файлов модели и подменить базовый адрес загрузки при сборке фронтенда через переменную окружения
VITE_MODEL_BASE_URL.
Пример
# Загрузка манифеста выбранного пакета в браузерном рантайме:
[https://huggingface.co/leventkoldas/botpsy-0.8b-webgpu/resolve/main/botpsy-0.8b-q4_k_m/manifest.json](https://huggingface.co/leventkoldas/botpsy-0.8b-webgpu/resolve/main/botpsy-0.8b-q4_k_m/manifest.json)
# Переопределение базового URL при сборке приложения:
VITE_MODEL_BASE_URL=[https://huggingface.co/leventkoldas/botpsy-0.8b-webgpu/resolve/main](https://huggingface.co/leventkoldas/botpsy-0.8b-webgpu/resolve/main)Подробнее
Базовая модель: qvac/BotPsy-0.8B (ревизия 24561e9681643eaf807fc28b0875210cb17f89c1)Лицензия весов и архитектуры: Apache-2.0
Формат: кастомные пакеты с manifest.json и шардами для WebGPU-рантайма (не совместимо напрямую с Transformers и GGUF)
Доступные директории: botpsy-0.8b-q8_0, botpsy-0.8b-q4_k_m, botpsy-0.8b-mixed, botpsy-vision-bf16-f32










Комментарии