WebSR
апскейл видео и картинок прямо в браузере через WebGPU
2 мин чтенияобновлено
Набор весов для JavaScript-библиотеки @websr/websr, которая повышает разрешение изображений и видео в реальном времени на стороне клиента без отправки файлов на сервер. Репозиторий опубликовал Сэм Бхаттачарья (Katana Video) — эти же модели работают в продакшене на сайте free.upscaler.video. В подборке семь вариантов от крошечной CNN (свёрточной нейросети) весом 5.8 КБ для слабых устройств до дистиллированных UNet-моделей на базе Real-ESRGAN x4v3 для высокой детализации. Подойдёт веб-разработчикам, создателям браузерных видеоплееров, стриминговых сервисов и онлайн-редакторов.
Ключевые особенности
- Семь моделей под разное железо: четыре компактные сети
websr/cnn-*(от 5.8 КБ до 364 КБ, архитектура на базе Anime4K), две дистиллированныеwebsr/gan-*(16.4–17.2 МБ) и портированнаяrealesrgan/x4v3(4.9 МБ). - Режим 2× для всех моделей
websr/*и 4× дляrealesrgan/x4v3с поддержкой вычислений вf16. - Опциональная покадровая калибровка под конкретный ролик (метод
calibrate) для моделей линейкиgan-*. - Открытые лицензии: MIT для собственных весов
websr/*и BSD-3-Clause для перепакованной модели Real-ESRGAN.
Что можно сделать
- Встроить улучшение качества видео в реальном времени в веб-плеер или видеозвонки с отрисовкой напрямую в HTML
canvasчерез WebGPU. - Сделать браузерный апскейлер картинок и роликов с нулевой нагрузкой на серверный GPU — вся обработка идёт на видеокарте пользователя.
- Адаптировать качество под мощность устройства: переключать профиль от сверхбыстрого
cnn-xsна слабых ноутбуках доgan-mна производительных системах.
Пример
import WebSR from '@websr/websr';
const url = '[https://huggingface.co/katana-video/websr/resolve/main/weights/websr/gan-s.bin](https://huggingface.co/katana-video/websr/resolve/main/weights/websr/gan-s.bin)';
const weights = WebSR.parseBinaryWeights(await (await fetch(url)).arrayBuffer());
const gpu = await WebSR.initWebGPU();
const websr = new WebSR({ network_name: 'websr/gan-s', weights, gpu, canvas });
await websr.calibrate([videoFrame]);
await websr.render(video);
Подробнее
Скорость на Apple M4 (Chrome, WebGPU, кадр 640×360, f16): cnn-xs ~3 мс, cnn-s ~8 мс, cnn-m ~29 мс, cnn-l ~85 мс, gan-s ~59 мс, gan-m ~95 мс, x4v3 ~0.8 с.Размер весов: от 5.8 КБ (cnn-xs, ~1.4 тыс. параметров) до 17.2 МБ (gan-s).
Требуется браузер с поддержкой WebGPU; канонические файлы также доступны через jsDelivr.




![Ri-mix - [Illustrious + Anima]](/media/civitai--996495-ri-mix-illustrious-anima/cover-320.webp)
![Ri-mix - [Illustrious + Anima]](/media/civitai--996495-ri-mix-illustrious-anima/cover.webp)




Комментарии